15T to ten sam budżet, co początkowe wstępne szkolenie kimi k2, o ile mi wiadomo, to pierwszy raz, kiedy zespół otwarcie wykorzystuje wcześniejszy punkt kontrolny do zbudowania jeszcze silniejszego modelu. Będziemy coraz częściej widzieć takie "interwencje w trakcie szkolenia", aby zmieniać architekturę, modalności, lepszy długi kontekst, lepsze dane agentowe.. To bardzo ekscytujące i umożliwia innym firmom dołączenie do wyścigu (kursor?) dzięki dostawcom takim jak kimi (i innym, takim jak deepseek, meituan, zai,...) wydającym model bazowy.

mówienie, że deepseek zbudował moe na bazie mixtral to nonsens, dokument deepseek moe ukazał się zaledwie 3 dni po opublikowaniu dokumentu mixtral na arxiv ponadto dokument mixtral nie zawiera dosłownie żadnych szczegółów dotyczących treningu, więc "udostępniliśmy wszystko, co było potrzebne do odbudowy tego rodzaju architektury" jest również fałszywe, dokument mówi tylko "używamy architektury google gshard z prostszym routowaniem i moe na każdej warstwie" i nie zawiera szczegółów dotyczących danych, hiperparametrów, tokenów treningowych, ablacj itp.. architektura, którą wykorzystuje deepseek moe, jest w rzeczywistości inna niż gshard i bardziej rzadka (deepseek moe nawet nie cytuje mixtral w dokumencie, ale gshard) nie mówię, że mixtral nie miał wpływu na moe, ale to, co zostało powiedziane w tym wywiadzie, jest trochę przepisaniem narracji, aby powiedzieć "ale spójrz, Chiny/deepseek też kopiują mistral!"

Zespół GLM korzysta teraz z MLA!! To naprawdę szalony model z 30 miliardami parametrów i około 4 miliardami aktywnymi. Bardzo ładne wydanie jeśli chodzi o strukturę, jest to w przybliżeniu ta sama głębokość co glm4.5 air i qwen3 30B A3B, 64 całkowitych ekspertów zamiast 128, ale aktywne są tylko 5 zamiast 9, jeśli liczyć wspólnego eksperta.