🚨 AKTUÁLNÍ: Tencent zrušil paradigma "dalšího tokenu". Tencent a Tsinghua vydali CALM (Continuous Autoregressive Language Models), který zcela narušuje paradigma dalšího tokenu. LLM momentálně plýtvají obrovským množstvím výpočetního výkonu na predikci diskrétních, jednotlivých tokenů prostřednictvím rozsáhlé vrstvy slovní zásoby softmax. Je pomalý a špatně škáluje. KLID úplně obchází slovní zásobu. Používá vysoce věrný autoenkodér ke kompresi částí textu do jednoho souvislého vektoru s 99,9% přesností rekonstrukce. Model nyní předpovídá "další vektor" v spojitém prostoru. Čísla jsou vlastně šílená: - Každý generativní krok nyní nese 4× sémantické šířky pásma. - Trénovací výpočetní kapacita je snížena o 44 %. - Softmax úzké hrdlo je zcela odstraněno. Doslova sledujeme, jak se jazykové modely vyvíjejí od psaní diskrétních symbolů k proudění nepřetržitých myšlenek. To mění celý směr AI.