(1/N) 🚀I dag lanserer vi to tett sammenkoblede milepæler i Physics of LM-serien: en skjerpet Part 4.1 (v2.0) og en helt ny Part 4.2 — sammen danner de en klar, reproduserbar, lærebokaktig referanse for prinsippbasert arkitekturforskning. Del 4.1 introduserte en syntetisk fortreningslekeplass — vårt Galileo-eksperiment for LLM-er🍎. Vår v2.0 styrker den med Gated DeltaNet (GDN) og strengere justering, og bygger et enda renere "Pisa-tårn" for testing av arkitektoniske grenser. Del 4.2 viser at disse syntetiske prediksjonene resonnerer i virkeligheten 🌍 — på tvers av 1–8B / 1T-token-fortrening — og bekrefter hvilke designprinsipper som faktisk betyr noe. Sammen bringer delene 4.1 og 4.2 den syntetiske og virkelige verden i overraskende enighet 🤝 — enda et steg mot en mer vitenskapelig forståelse av LLM-arkitekturer. Hvis du er nysgjerrig på: 🧠Hvorfor noen modeller resonnerer dypere ⚙️ Hvorfor lineære modeller sliter med gjenfinning 🎶hvorfor en liten horisontal mikser (Canon) endrer alt ... Denne utgivelsen binder alt sammen. (Lenker på slutten)