0/9 Rất vui được giới thiệu Mô hình Khái niệm Lớn Động (DLCM), một kiến trúc phân cấp giúp các LLM vượt qua việc xử lý token cấp độ đồng nhất không hiệu quả. Thay vì dự đoán token con tiếp theo hoặc một số lượng token cố định, DLCM tạo ra các khái niệm tiếp theo một cách động với ranh giới thích ứng trong một mô hình đào tạo end2end. Với việc phân bổ tính toán động hợp lý hơn, DLCM có thể giảm số lượng flops suy diễn xuống 34% so với kiến trúc transformer dày đặc tiêu chuẩn. Và lợi ích về hiệu suất đang gia tăng khi kích thước mô hình và độ dài ngữ cảnh tăng lên.