“Dự đoán token tiếp theo” vừa có một đối thủ nghiêm túc 🤯 Ant Group vừa phát hành LLaDA 2.1, và nó thách thức mô hình thống trị của LLMs. Khác với hầu hết các mô hình chỉ tạo ra một token tại một thời điểm, LLaDA 2.1 sử dụng khuếch tán để tạo ra các khối văn bản song song. Tại sao điều này thay đổi mọi thứ:  → Lập kế hoạch toàn cầu: Nó hiệu quả trong việc nhìn thấy "tương lai" trong khi viết "quá khứ" → Tạo ra song song: Nó tạo ra các khối song song, không theo thứ tự, nhanh hơn rất nhiều → Hiệu quả lớn: Kiến trúc MoE 16B chỉ sử dụng ~1.4B tham số hoạt động mỗi bước. 100% Mã nguồn mở.