Überprüfen Sie die Batch-Generierung in mlx-lm mit GLM 4.7 auf einem M3 Ultra. Das 6-Bit-Modell führt eine Batch von 4 mit fast der doppelten Durchsatzrate (~30 Tok/Sek) einer einzelnen Generation aus.

Sie können auch die tensor-parallele Generierung mit dem JACCL-Backend von MLX durchführen, um eine Beschleunigung mit mehreren Maschinen zu erzielen. Hier ist das GLM 4.7 in 6-Bit, das ein einzelnes Beispiel auf vier Maschinen mit ~25 tok/s ausführt: