Ngừng việc ám ảnh với những thứ rác rưởi "thuộc tính nổi bật" 8B hay 70B. Hầu hết những gì bạn thấy chỉ là tiếng ồn đo lường và gian lận chuẩn mực. Tôi luôn nói rằng Zeyuan Allen-Zhu đang thực hiện "Vật lý" nghiêm ngặt nhất của LLMs. Như tôi đã lưu ý trong các blog của mình, hầu hết các cuộc tranh luận học thuật về kiến trúc chỉ là sự bắt chước mà không kiểm soát biến. Hướng dẫn mới của Zeyuan chứng minh rằng một mô hình 100M có thể tiết lộ nhiều sự thật kiến trúc hơn một mô hình 1T-token 8B. Nếu bạn không theo dõi điều này, bạn chỉ đang chơi với những viên LEGO đắt tiền trong bóng tối. Ngành công nghiệp cuối cùng cũng tỉnh dậy: Mở rộng mà không hiểu "Vật lý" chỉ là cờ bạc của người giàu.