parametry osadzenia znów są na czołowej pozycji, niesamowity artykuł od LongCat Flash, równocześnie z Engramem DeepSeek! differences with Engram: -> brak osadzenia na poziomie warstwy (próbowali osadzenia na poziomie warstwy (PLE), ale nie przyniosło to realnych korzyści) -> prosta fuzja średnia zamiast dynamicznego, kontekstowo świadomego bramkowania Engramu -> osadzenia tylko na warstwie wejściowej (w porównaniu do głębszego wstrzykiwania Engramu) to samo co Engram: -> wiele podtabel haszujących, aby zredukować kolizje -> podobne prawo skalowania w kształcie litery U dla MoE w porównaniu do alokacji N-gramów -> korzystne tylko przy wysokiej rzadkości (gdy MoE osiąga malejące zwroty) inne kluczowe odkrycia: -> szersze modele korzystają bardziej; głębsze modele widzą malejące zwroty -> należy wzmocnić wyjście osadzenia (√D lub LayerNorm), aby zapobiec przytłoczeniu przez pierwszą warstwę uwagi -> rozmiar słownika musi unikać całkowitych wielokrotności podstawowego słownika (szczyty kolizji) -> ≤50% parametrów do osadzeń, w przeciwnym razie czyste MoE wygrywa -> miła synergia z spekulacyjnym dekodowaniem

15T to ten sam budżet, co początkowe wstępne szkolenie kimi k2, o ile mi wiadomo, to pierwszy raz, kiedy zespół otwarcie wykorzystuje wcześniejszy punkt kontrolny do zbudowania jeszcze silniejszego modelu. Będziemy coraz częściej widzieć takie "interwencje w trakcie szkolenia", aby zmieniać architekturę, modalności, lepszy długi kontekst, lepsze dane agentowe.. To bardzo ekscytujące i umożliwia innym firmom dołączenie do wyścigu (kursor?) dzięki dostawcom takim jak kimi (i innym, takim jak deepseek, meituan, zai,...) wydającym model bazowy.

mówienie, że deepseek zbudował moe na bazie mixtral to nonsens, dokument deepseek moe ukazał się zaledwie 3 dni po opublikowaniu dokumentu mixtral na arxiv ponadto dokument mixtral nie zawiera dosłownie żadnych szczegółów dotyczących treningu, więc "udostępniliśmy wszystko, co było potrzebne do odbudowy tego rodzaju architektury" jest również fałszywe, dokument mówi tylko "używamy architektury google gshard z prostszym routowaniem i moe na każdej warstwie" i nie zawiera szczegółów dotyczących danych, hiperparametrów, tokenów treningowych, ablacj itp.. architektura, którą wykorzystuje deepseek moe, jest w rzeczywistości inna niż gshard i bardziej rzadka (deepseek moe nawet nie cytuje mixtral w dokumencie, ale gshard) nie mówię, że mixtral nie miał wpływu na moe, ale to, co zostało powiedziane w tym wywiadzie, jest trochę przepisaniem narracji, aby powiedzieć "ale spójrz, Chiny/deepseek też kopiują mistral!"