Đột phá: Cắt tỉa lý thuyết trò chơi giảm kích thước mạng nơ-ron lên đến 90% với tổn thất độ chính xác gần như bằng không: Mở khóa cuộc cách mạng AI biên! Tôi đang thử nghiệm điều này trên AI cục bộ và thật đáng kinh ngạc! Giới thiệu Cắt tỉa như một Trò chơi. Sự tản mát dựa trên cân bằng của các mạng nơ-ron, một phương pháp mới mà coi việc cắt tỉa tham số như một cuộc cạnh tranh chiến lược giữa các trọng số. Phương pháp này xác định và loại bỏ các kết nối dư thừa một cách động thông qua cân bằng lý thuyết trò chơi, đạt được sự nén lớn trong khi vẫn bảo tồn – và đôi khi thậm chí cải thiện – hiệu suất mô hình. Được công bố trên arXiv chỉ vài ngày trước (tháng 12 năm 2025), bài báo cho thấy những kết quả đáng kinh ngạc: mức độ thưa thớt vượt quá 90% trong các mô hình quy mô lớn với sự giảm độ chính xác dưới 1% trên các chuẩn như ImageNet và CIFAR-10. Đối với những gã khổng lồ với hàng tỷ tham số, điều này chuyển thành sự giảm đáng kể về kích thước bộ nhớ (nhỏ hơn tới 10 lần), tốc độ suy diễn (nhanh hơn 2-5 lần trên phần cứng tiêu chuẩn), và tiêu thụ năng lượng – tất cả mà không gặp phải những cơn đau đầu về việc huấn luyện lại của các phương pháp truyền thống. Tại sao điều này thay đổi mọi thứ Các kỹ thuật cắt tỉa truyền thống – như loại bỏ dựa trên độ lớn hoặc độ dốc – thường gặp khó khăn với "nỗi tiếc nuối cắt tỉa," nơi nén mạnh mẽ làm giảm hiệu suất, buộc phải thực hiện các chu kỳ tinh chỉnh tốn kém. Nhưng khung cân bằng mới này đảo ngược kịch bản: các tham số "cạnh tranh" trong một trò chơi hợp tác hoặc không hợp tác, nơi cân bằng giống như Nash tiết lộ những trọng số thực sự không quan trọng. Kết quả? Sự tản mát sạch hơn, ổn định hơn vượt trội hơn các tiêu chuẩn hàng đầu trong các kiến trúc biến thể thị giác, mạng nơ-ron tích chập, và thậm chí cả các kiến trúc đa phương thức mới nổi. Những điểm nổi bật chính từ các thí nghiệm: • 90-95% độ thưa thớt trên ResNet-50 với tổn thất độ chính xác top-1 <0.5% (so với 2-5% trong SOTA trước đó). • Tốc độ suy diễn nhanh hơn tới 4 lần trên GPU di động, làm cho các mô hình với hàng tỷ tham số khả thi cho điện thoại thông minh và thiết bị IoT. • Độ bền vượt trội: Các mô hình thưa thớt duy trì hiệu suất dưới các thay đổi phân phối và các cuộc tấn công đối kháng tốt hơn so với các đối tác dày đặc. Điều này không chỉ là sự gia tăng – đó là một sự thay đổi mô hình. Hãy tưởng tượng việc chạy lý luận quy mô GPT trên điện thoại của bạn, phân tích video thời gian thực trên máy bay không người lái, hoặc chẩn đoán y tế dựa trên biên mà không phụ thuộc vào đám mây. Bằng cách giảm thiểu dấu chân môi trường của việc huấn luyện và suy diễn lớn, nó cũng giải quyết trực tiếp cuộc khủng hoảng năng lượng ngày càng tăng của AI. ...