🚨 СРОЧНО: Tencent убила парадигму "следующего токена". Tencent и Цинхуа выпустили CALM (Непрерывные Автогрессивные Языковые Модели), и это полностью разрушает парадигму следующего токена. LLM в настоящее время тратят огромные объемы вычислительных ресурсов на предсказание дискретных, отдельных токенов через огромный слой softmax словаря. Это медленно и плохо масштабируется. CALM полностью обходит словарь. Он использует высококачественный автоэнкодер для сжатия фрагментов текста в один непрерывный вектор с точностью восстановления 99,9%. Теперь модель предсказывает "следующий вектор" в непрерывном пространстве. Цифры на самом деле безумные: - Каждый генеративный шаг теперь несет в 4 раза больше семантической пропускной способности. - Вычислительные затраты на обучение снижены на 44%. - Узкое место softmax полностью устранено. Мы буквально наблюдаем, как языковые модели эволюционируют от ввода дискретных символов к потоковому воспроизведению непрерывных мыслей. Это меняет всю траекторию AI.