Alguien en el subreddit local de llama ya ha cuantizado nuestro modelo al formato gguf q4 y lo utiliza localmente para generar una aplicación dinámica de sistema solar en JavaScript. Impresionante rendimiento en una sola toma, en mi opinión, especialmente para q4.