Chúng ta có thể phá vỡ bức tường bộ nhớ cho suy diễn LLM thông qua việc tái tạo lại bộ nhớ KV không? 🚨 Giới thiệu XQuant, tận dụng các đơn vị tính toán chưa được sử dụng để loại bỏ nút thắt bộ nhớ cho suy diễn LLM! • Tiết kiệm bộ nhớ 10–12.5x so với FP16 • Mất mát độ chính xác gần như bằng không • Vượt qua công nghệ KV quantization hàng đầu🔥 Những hiểu biết chính: 1. Bộ nhớ KV = nút thắt → tăng trưởng theo chiều dài ngữ cảnh + kích thước lô. 2. Tính toán >> bộ nhớ → GPU cung cấp FLOPs nhanh hơn nhiều so với băng thông bộ nhớ. 3. Ý tưởng chính → không lưu trữ KV, chỉ cần tính toán lại nó. 🧠 Vì suy diễn LLM thường bị giới hạn bởi băng thông bộ nhớ, các đơn vị tính toán thường bị nhàn rỗi và chưa được sử dụng hết. Vì vậy, chúng ta có thể tận dụng khả năng tính toán này mà không tốn thêm chi phí! Xu hướng phần cứng GPU cho thấy khả năng tính toán đang phát triển nhanh hơn nhiều so với băng thông bộ nhớ. Do đó, giảm các thao tác bộ nhớ để đổi lấy nhiều tính toán hơn có thể giúp tăng tốc suy diễn LLM. Bộ nhớ KV tăng trưởng theo chiều dài chuỗi và kích thước lô, gây ra phần lớn các thao tác bộ nhớ trong quá trình suy diễn LLM. Nếu chúng ta có thể trao đổi thêm tính toán để tránh việc tải và lưu trữ bộ nhớ KV, chúng ta có thể tăng tốc suy diễn! XQuant khai thác xu hướng phần cứng này: 🧵 [1/7] Bài báo: Công việc chung với: @coleman_hooper1 @mjlee_official từ @FuriosaAI @HaochengXiUCB @rish2k1 Wonjun Kang từ @FuriosaAI @lucamanolache0 Michael Mahoney @KurtKeutzer @amir__gholami