🚨 PRZEŁOM: Tencent zabił paradygmat „następnego tokena”. Tencent i Tsinghua wypuściły CALM (Ciągłe Autoregresywne Modele Językowe), które całkowicie zakłócają paradygmat następnego tokena. LLM obecnie marnują ogromne ilości mocy obliczeniowej, przewidując dyskretne, pojedyncze tokeny przez ogromną warstwę softmax słownika. To jest wolne i źle się skaluje. CALM całkowicie omija słownik. Używa autoenkodera o wysokiej wierności do kompresji fragmentów tekstu w pojedynczy ciągły wektor z dokładnością rekonstrukcji 99,9%. Model teraz przewiduje „następny wektor” w ciągłej przestrzeni. Liczby są naprawdę szalone: - Każdy krok generacyjny teraz niesie 4× większą przepustowość semantyczną. - Moc obliczeniowa potrzebna do treningu została zmniejszona o 44%. - Wąskie gardło softmax zostało całkowicie usunięte. Dosłownie obserwujemy, jak modele językowe ewoluują z pisania dyskretnych symboli do strumieniowania ciągłych myśli. To zmienia całą trajektorię AI.