GLM-4.7 kjører ganske bra på en M3 Ultra med mlx-lm, selv med nesten tapsfri presisjon (6-bit her). Det genererte det beste Space Invaders-spillet jeg har sett hittil for en lokal modell (inkluderte til og med lydeffekter!). Genererte 6600 tokens og kjørte på 16 tok/s.
Z.ai
Z.ai23. des., 01:30
GLM-4.7 er her! GLM-4.7 overgår GLM-4.6 med betydelige forbedringer i koding, kompleks resonnement og verktøybruk, og setter nye åpne SOTA-standarder. Det øker også ytelsen i chat, kreativ skriving og rollespill. Standardmodell for kodeplan: Prøv nå: Vekter: Teknologiblogg:
Her er et skjermopptak av spillet og kommandoen som ble brukt for å generere det: ``` mlx_lm.generate --model mlx-community/GLM-4.7-6bit --prompt "Skriv en HTML- og JavaScript-side som implementerer space invaders" -m 8192 ```
861