Nu mai fi obsedat de "proprietăți emergente" 8B sau 70B. Majoritatea a ceea ce vezi este doar zgomot de măsurare și trișare la benchmark. Am spus mereu că Zeyuan Allen-Zhu face cea mai riguroasă "Fizică" dintre LLM-urile. Așa cum am menționat în blogurile mele, majoritatea dezbaterilor academice despre arhitectură sunt pur și simplu cult cargo pentru că eșuează în controlul variabil. Noul tutorial al lui Zeyuan demonstrează că un model de 100M poate dezvălui mai multe adevăruri arhitecturale decât un model 8B cu 1T-token. Dacă nu înțelegi, te joci doar cu LEGO-uri scumpe în întuneric. Industria începe în sfârșit să se trezească: Scalarea fără să înțelegi "Fizica" este doar un joc de noroc al unui bogat.