🚨 CẬP NHẬT: Tencent đã tiêu diệt mô hình "next-token". Tencent và Tsinghua đã phát hành CALM (Mô hình Ngôn ngữ Tự hồi tiếp Liên tục), và nó hoàn toàn làm gián đoạn mô hình next-token. Các LLM hiện tại lãng phí một lượng lớn tài nguyên tính toán để dự đoán các token rời rạc, đơn lẻ thông qua một lớp softmax từ vựng khổng lồ. Nó chậm và không mở rộng tốt. CALM bỏ qua hoàn toàn từ vựng. Nó sử dụng một autoencoder độ chính xác cao để nén các đoạn văn bản thành một vector liên tục duy nhất với độ chính xác tái tạo 99,9%. Mô hình giờ đây dự đoán "vector tiếp theo" trong một không gian liên tục. Các con số thực sự điên rồ: - Mỗi bước sinh ra giờ đây mang lại băng thông ngữ nghĩa gấp 4 lần. - Tài nguyên tính toán cho việc đào tạo giảm 44%. - Nút thắt softmax hoàn toàn bị loại bỏ. Chúng ta đang chứng kiến các mô hình ngôn ngữ tiến hóa từ việc gõ các ký hiệu rời rạc sang việc phát trực tiếp những suy nghĩ liên tục. Điều này thay đổi toàn bộ quỹ đạo của AI.