Deja de obsesionarte con la basura de "propiedades emergentes" de 8B o 70B. La mayor parte de lo que ves es solo ruido de medición y trampa de referencia. Siempre he dicho que Zeyuan Allen-Zhu está haciendo la "Física" más rigurosa de los LLMs. Como mencioné en mis blogs, la mayoría de los debates académicos sobre arquitectura son solo un culto de carga porque fallan en el control de variables. El nuevo tutorial de Zeyuan demuestra que un modelo de 100M puede revelar más verdades arquitectónicas que un modelo de 8B de 1T-token. Si no estás siguiendo esto, simplemente estás jugando con LEGOs caros en la oscuridad. La industria finalmente está despertando: Escalar sin entender la "Física" es solo un juego de azar para hombres ricos.