在當地的 llama subreddit 上，有人已經將我們的模型量化為 gguf q4 格式，並在本地使用它來生成動態的 3D 太陽系應用程序，使用 JavaScript。 我認為這在 q4 的一次性性能上非常令人印象深刻。