Smettila di essere ossessionato da 8B o 70B "proprietà emergenti" spazzatura. La maggior parte di ciò che vedi è solo rumore di misurazione e imbrogli sui benchmark. Ho sempre detto che Zeyuan Allen-Zhu sta facendo la "Fisica" più rigorosa degli LLM. Come ho notato nei miei blog, la maggior parte dei dibattiti accademici sull'architettura è solo un culto del cargo perché falliscono nel controllo delle variabili. Il nuovo tutorial di Zeyuan dimostra che un modello da 100M può rivelare più verità architettoniche di un modello da 1T-token 8B. Se non stai seguendo questo, stai solo giocando con costosi LEGO al buio. L'industria si sta finalmente svegliando: scalare senza comprendere la "Fisica" è solo il gioco d'azzardo di un uomo ricco.