Do prdele... to by mohla být další velká změna paradigmatu v AI. 🤯 Tencent + Tsinghua právě vypustil článek s názvem Continuous Autoregressive Language Models (CALM) a v podstatě zabíjí paradigma "next-token", na kterém je postaven každý LLM. Namísto předpovídání jednoho tokenu po druhém, CALM předpovídá spojité vektory, které představují více tokenů najednou. To znamená: model nemyslí "slovo za slovem"... přemýšlí v myšlenkách na krok. Zde je důvod, proč je to šílené 👇 → 4× méně kroků predikce (každý vektor = ~4 tokeny) → o 44 % méně trénovacích výpočetních prostředků → Žádná samostatná slovní zásoba, čisté kontinuální uvažování → Nová metrika (BrierLM) zcela nahrazuje zmatek Dokonce postavili nový transformátor založený na energii, který se učí bez softmaxu, bez vzorkování tokenů, bez stropu slovní zásoby. Je to jako přestat mluvit morseovkou... až po streamování celých myšlenek. Pokud se to rozšíří, každý LLM je dnes zastaralý.