Кто-то на сабреддите local llama уже квантизировал нашу модель в формат gguf q4 и использует её локально для создания динамического 3D приложения солнечной системы на JavaScript. Впечатляющая однократная производительность, на мой взгляд, особенно для q4.