nowy artykuł Aleca Radforda 😮

parametry osadzenia znów są na czołowej pozycji, niesamowity artykuł od LongCat Flash, równocześnie z Engramem DeepSeek! differences with Engram: -> brak osadzenia na poziomie warstwy (próbowali osadzenia na poziomie warstwy (PLE), ale nie przyniosło to realnych korzyści) -> prosta fuzja średnia zamiast dynamicznego, kontekstowo świadomego bramkowania Engramu -> osadzenia tylko na warstwie wejściowej (w porównaniu do głębszego wstrzykiwania Engramu) to samo co Engram: -> wiele podtabel haszujących, aby zredukować kolizje -> podobne prawo skalowania w kształcie litery U dla MoE w porównaniu do alokacji N-gramów -> korzystne tylko przy wysokiej rzadkości (gdy MoE osiąga malejące zwroty) inne kluczowe odkrycia: -> szersze modele korzystają bardziej; głębsze modele widzą malejące zwroty -> należy wzmocnić wyjście osadzenia (√D lub LayerNorm), aby zapobiec przytłoczeniu przez pierwszą warstwę uwagi -> rozmiar słownika musi unikać całkowitych wielokrotności podstawowego słownika (szczyty kolizji) -> ≤50% parametrów do osadzeń, w przeciwnym razie czyste MoE wygrywa -> miła synergia z spekulacyjnym dekodowaniem

15T to ten sam budżet, co początkowe wstępne szkolenie kimi k2, o ile mi wiadomo, to pierwszy raz, kiedy zespół otwarcie wykorzystuje wcześniejszy punkt kontrolny do zbudowania jeszcze silniejszego modelu. Będziemy coraz częściej widzieć takie "interwencje w trakcie szkolenia", aby zmieniać architekturę, modalności, lepszy długi kontekst, lepsze dane agentowe.. To bardzo ekscytujące i umożliwia innym firmom dołączenie do wyścigu (kursor?) dzięki dostawcom takim jak kimi (i innym, takim jak deepseek, meituan, zai,...) wydającym model bazowy.