GLM-4.7 fungerar ganska bra på en M3 Ultra med mlx-lm, även med nästan förlustfri precision (6-bit här). Det genererade det bästa Space Invaders-spelet jag sett hittills för en lokal modell (inkluderade till och med ljudeffekter!). Genererade 6600 tokens och körde på 16 tok/s.
Z.ai
Z.ai23 dec. 01:30
GLM-4.7 är här! GLM-4.7 överträffar GLM-4.6 med betydande förbättringar inom kodning, komplext resonemang och verktygsanvändning, och sätter nya open source-standarder för SOTA. Det förbättrar också prestationen i chatt, kreativt skrivande och rollspelsscenarier. Standardmodell för kodningsplan: Prova nu: Vikter: Teknikblogg:
Här är en skärminspelning av spelet och kommandot som användes för att generera det: ``` mlx_lm.generate --model mlx-community/GLM-4.7-6bit --prompt "Skriv en HTML- och JavaScript-sida som implementerar rymdinkräktare" -m 8192 ```
827