Bạn có thể thực hiện suy diễn AI nhanh gấp 3 lần mà không cần đào tạo thêm. Các nhà nghiên cứu từ SJTU & Huawei giới thiệu LoPA chỉ để làm điều đó! Phương pháp "Giải mã song song nhìn trước" mới của họ là một mẹo cắm và chạy. Nó thông minh dự đoán thứ tự tốt nhất để tạo ra nhiều token cùng một lúc, thay vì từng cái một, mở khóa tính toán song song khổng lồ. Nó tăng cường mô hình D2F-Dream để xuất ra hơn 10 token mỗi bước, đạt hơn 1070 token/giây—vượt trội đáng kể so với các hệ thống suy diễn hàng đầu khác trên các tiêu chuẩn lập trình (MBPP) và toán học (GSM8K). LoPA: Mở rộng suy diễn dLLM thông qua Giải mã song song nhìn trước Bài báo: Mã: Blog: Báo cáo của chúng tôi: 📬 #PapersAccepted bởi Jiqizhixin