Microsoft đã tiêu diệt băng nhóm GPU 🤯 Họ cuối cùng đã mã nguồn mở framework suy diễn LLM 1-bit của họ có tên là bitnet.cpp. Nó cho phép bạn chạy các mô hình 100B tham số trên CPU cục bộ của bạn mà không cần GPU. - Suy diễn nhanh hơn 6.17 lần - Tiêu thụ năng lượng ít hơn 82.2% trên CPU 100% Mã nguồn mở.