(1/N)🚀Hari ini kami meluncurkan dua tonggak sejarah yang terhubung erat dalam seri Fisika LM: Bagian 4.1 yang tajam (v2.0) dan Bagian 4.2 yang baru — bersama-sama membentuk referensi yang jelas, dapat direproduksi, bergaya buku teks untuk penelitian arsitektur berprinsip. Bagian 4.1 memperkenalkan taman bermain prapelatihan sintetis — eksperimen Galileo kami untuk LLM🍎. V2.0 kami memperkuatnya dengan Gated DeltaNet (GDN) dan penyelarasan yang lebih ketat, membangun "menara Pisa" yang lebih bersih untuk menguji batas arsitektur. Bagian 4.2 menunjukkan prediksi sintetis ini beresonansi dalam kenyataan 🌍 — di seluruh prapelatihan token 1–8B / 1T — mengkonfirmasi prinsip desain mana yang benar-benar penting. Bersama-sama, Bagian 4.1 dan 4.2 membawa dunia sintetis dan nyata ke dalam kesepakatan 🤝 yang mengejutkan - satu langkah lagi menuju pemahaman yang lebih ilmiah tentang arsitektur LLM. Jika Anda penasaran tentang: 🧠Mengapa beberapa model beralasan lebih dalam ⚙️ Mengapa Model Linier Kesulitan Pengambilan 🎶mengapa mixer horizontal kecil (Canon) mengubah segalanya ... Rilis ini mengikat semuanya. (Tautan di akhir)