🚨 BREAKING: Tencent вбив парадигму «наступного токену». Tencent і Tsinghua випустили CALM (Безперервні авторегресні мовні моделі), і це повністю порушує парадигму наступного токену. LLM наразі витрачають величезну кількість обчислювальних витрат на прогнозування дискретних, окремих токенів через величезний слониковий рівень softmax. Він повільний і погано масштабується. CALM повністю обходить словниковий запас. Він використовує високоякісний автоенкодер для стиснення шматків тексту в один безперервний вектор з точністю реконструкції 99,9%. Тепер модель прогнозує «наступний вектор» у неперервному просторі. Цифри насправді неймовірні: - Кожен генеративний крок тепер несе 4× семантичної смуги пропускання. - Навчальні обчислення зменшуються на 44%. - Вузьке місце softmax повністю усувається. Ми буквально спостерігаємо, як мовні моделі еволюціонують від набору дискретних символів до потоку безперервних думок. Це змінює всю траєкторію розвитку ШІ.