Ktoś na lokalnym subreddicie llama już zkwantyzował nasz model do formatu gguf q4 i używa go lokalnie do generowania dynamicznej aplikacji 3D systemu słonecznego w JavaScript. Imponująca wydajność w jednym strzale, moim zdaniem, zwłaszcza dla q4.