Kiểm tra việc tạo lô trong mlx-lm với GLM 4.7 trên M3 Ultra. Mô hình 6-bit chạy một lô 4 với tốc độ gần gấp đôi (~30 tok/giây) so với một lần tạo.

Bạn cũng có thể thực hiện việc tạo song song tensor với back-end JACCL của MLX để tăng tốc độ bằng cách sử dụng nhiều máy. Đây là GLM 4.7 trong 6-bit chạy một ví dụ đơn lẻ trên bốn máy với tốc độ ~25 tok/s: