轟!MLX 評估使用批次推斷,並在 2 個 M3 Ultra 和 1 個 M4 Max 上進行平行分佈! 目前請求在環中的所有節點之間均勻分配,我會根據每個節點的大小來調整這個分配 💪🏻