Lopeta pakkomielteinen kiinnostus 8B- tai 70B-"emergenttien ominaisuuksien" roskasta. Suurin osa näkemästäsi on vain mittauskohinaa ja vertailuhuijaamista. Olen aina sanonut, että Zeyuan Allen-Zhu tekee LLM:ien tarkinta "fysiikkaa". Kuten mainitsin blogeissani, suurin osa arkkitehtuurin akateemisista keskusteluista on pelkkää rahtikulttimista, koska ne epäonnistuvat muuttujien hallinnassa. Zeyuanin uusi opas osoittaa, että 100M-malli voi paljastaa enemmän arkkitehtonisia totuuksia kuin 1T-token 8B-malli. Jos et seuraa tätä, leikit vain kalliilla LEGOilla pimeässä. Ala on vihdoin heräämässä: Skaalaaminen ymmärtämättä "fysiikaa" on vain rikkaan miehen uhkapeliä.