(1/N)🚀Vandaag lanceren we twee nauw met elkaar verbonden mijlpalen in de Physics of LM-serie: een aangescherpte Deel 4.1 (v2.0) en een gloednieuw Deel 4.2 — samen vormen ze een duidelijke, reproduceerbare, handboekstijl referentie voor principieel architectuuronderzoek. Deel 4.1 introduceerde een synthetische pretraining speelplaats — ons Galileo-experiment voor LLM's🍎. Onze v2.0 versterkt dit met Gated DeltaNet (GDN) en strengere afstemming, waardoor we een nog schonere "Pisa-toren" bouwen voor het testen van architecturale limieten. Deel 4.2 toont aan dat deze synthetische voorspellingen resoneren in de werkelijkheid 🌍 — over 1–8B / 1T-token pretraining — en bevestigt welke ontwerpbeginselen er echt toe doen. Samen brengen Deel 4.1 en 4.2 de synthetische en echte werelden in verrassende overeenstemming 🤝— weer een stap dichter bij een meer wetenschappelijk begrip van LLM-architecturen. Als je nieuwsgierig bent naar: 🧠waarom sommige modellen dieper redeneren ⚙️waarom lineaire modellen moeite hebben met ophalen 🎶waarom een kleine horizontale mixer (Canon) alles verandert … dit release verbindt alles samen. (Links aan het einde)