Arrêtez d'être obsédé par les "propriétés émergentes" à 8B ou 70B. La plupart de ce que vous voyez n'est que du bruit de mesure et de la tricherie sur les benchmarks. J'ai toujours dit que Zeyuan Allen-Zhu fait la "Physique" la plus rigoureuse des LLMs. Comme je l'ai noté dans mes blogs, la plupart des débats académiques sur l'architecture ne sont que du culte de cargo parce qu'ils échouent à contrôler les variables. Le nouveau tutoriel de Zeyuan prouve qu'un modèle de 100M peut révéler plus de vérités architecturales qu'un modèle de 8B à 1T-token. Si vous ne suivez pas cela, vous ne faites que jouer avec des LEGOs chers dans le noir. L'industrie commence enfin à se réveiller : Élargir sans comprendre la "Physique" n'est qu'un jeu de hasard pour les riches.