(1/N) 🚀Dnes představujeme dva úzce propojené milníky série Fyzika LM: vylepšenou část 4.1 (v2.0) a zcela novou část 4.2 — které společně tvoří jasnou, reprodukovatelnou, učebnicovou referenci pro výzkum principiální architektury. Část 4.1 představila syntetické předškolící hřiště — náš experiment Galileo pro LLM🍎. Verze 2.0 jej posiluje pomocí Gated DeltaNet (GDN) a přísnějšího zarovnání, čímž staví ještě čistší "Pisa věž" pro testování architektonických limitů. Část 4.2 ukazuje, že tyto syntetické předpovědi rezonují v realitě 🌍 — napříč předtrénováním 1–8B / 1T-tokenů — a potvrzují, které designové principy skutečně mají význam. Společně části 4.1 a 4.2 přivádějí syntetický a reálný svět do překvapivé shody 🤝 — další krok k vědeckému pochopení architektur LLM. Pokud vás zajímá: 🧠Proč některé modely uvažují hlouběji ⚙️ Proč mají lineární modely problémy s vyhledáním 🎶proč malý horizontální mixér (Canon) mění všechno ... Toto vydání vše spojuje dohromady. (Odkazy na konci)