Microsoft убил мафию GPU 🤯 Они наконец-то открыли исходный код своей 1-битной LLM инференс-рамки под названием bitnet.cpp. Она позволяет запускать модели с 100B параметрами на вашем локальном CPU без GPU. - В 6.17 раз быстрее инференс - На 82.2% меньше энергии на CPU 100% открытый исходный код.