O GLM-4.7 roda muito bem em um M3 Ultra com mlx-lm, mesmo com precisão quase sem perdas (6 bits aqui). Ele gerou o melhor jogo de Space Invaders que já vi para um modelo local (inclusive incluía efeitos sonoros!). Gerava 6600 tokens e rodava a 16 tok/s.
Z.ai
Z.ai23 de dez., 01:30
O GLM-4.7 chegou! O GLM-4.7 supera o GLM-4.6 com melhorias substanciais em programação, raciocínio complexo e uso de ferramentas, estabelecendo novos padrões SOTA de código aberto. Também melhora o desempenho em chat, escrita criativa e cenários de interpretação. Modelo padrão para o plano de codificação: Experimente agora: Pesos: Blog de Tecnologia:
Aqui está uma gravação de tela do jogo e o comando usado para gerá-lo: ``` mlx_lm.generate --model mlx-community/GLM-4.7-6bit --prompt "Escrever uma página HTML e JavaScript implementando invasores de espaço" -m 8192 ```
973