Verifică generarea de loturi în mlx-lm cu GLM 4.7 pe un M3 Ultra. Modelul pe 6 biți rulează un lot de 4 la aproape dublul debitului (~30 tok/sec) al unei singure generații.

Poți face și generare tensor-parallel cu back-end-ul JACCL de la MLX pentru a obține o accelerare folosind mai multe mașini. Iată GLM 4.7 în 6-bit care rulează un singur exemplu pe patru mașini la ~25 tok/s: