(1/N)🚀Hoje lançamos dois marcos intimamente conectados na série Física de LM: uma Parte 4.1 (v2.0) aprimorada e uma nova Parte 4.2 — juntas formando uma referência clara, reproduzível, no estilo de livro didático para pesquisa de arquitetura com princípios. A Parte 4.1 introduziu um playground de pré-treinamento sintético — nosso experimento Galileo para LLMs🍎. Nossa v2.0 fortalece isso com Gated DeltaNet (GDN) e um alinhamento mais rigoroso, construindo uma "torre de Pisa" ainda mais limpa para testar limites arquitetônicos. A Parte 4.2 mostra que essas previsões sintéticas ressoam na realidade 🌍 — ao longo de 1–8B / 1T-token de pré-treinamento — confirmando quais princípios de design realmente importam. Juntas, as Partes 4.1 e 4.2 trazem os mundos sintético e real para um surpreendente acordo 🤝— mais um passo em direção a uma compreensão mais científica das arquiteturas de LLM. Se você está curioso sobre: 🧠por que alguns modelos raciocinam mais profundamente ⚙️ por que modelos lineares têm dificuldades na recuperação 🎶por que um pequeno misturador horizontal (Canon) muda tudo … esta versão conecta tudo.