Berhentilah terobsesi dengan sampah "properti yang muncul" 8B atau 70B. Sebagian besar dari apa yang Anda lihat hanyalah kebisingan pengukuran dan kecurangan tolok ukur. Saya selalu mengatakan bahwa Zeyuan Allen-Zhu melakukan "Fisika" LLM yang paling ketat. Seperti yang saya catat di blog saya, sebagian besar perdebatan akademis tentang arsitektur hanyalah pemujaan kargo karena mereka gagal pada kontrol variabel. Tutorial baru Zeyuan membuktikan bahwa model 100M dapat mengungkapkan lebih banyak kebenaran arsitektur daripada model 1T-token 8B. Jika Anda tidak mengikuti ini, Anda hanya bermain dengan LEGO mahal dalam kegelapan. Industri akhirnya terbangun: Penskalaan tanpa memahami "Fisika" hanyalah perjudian orang kaya.