Chạy Kimi-K2.5 trên 8x RTX Pro 6000 Blackwells, với kế hoạch cuối cùng sẽ thử nghiệm một thiết lập suy diễn hybrid CPU/GPU thông qua KTransformers+SGLang trên 4x của cùng một loại GPU Rất tò mò để đánh giá hiệu suất tổng thể với thiết lập hybrid so với một Kimi-K2.5 đã được định lượng trên 4 GPU. Thiết lập hybrid sẽ cần gần 768GB RAM Để bắt đầu, đây là một cơ sở dữ liệu trên 8x GPU sử dụng một tác vụ mã hóa tổng hợp nhắm vào 2k-45k token đầu vào, 80-3k token đầu ra tối đa, và với tối đa 10 yêu cầu đồng thời. Cờ --mem-fraction-static của SGLang được đặt thành 0.90 Thông lượng trung bình cơ sở: ~74 token đầu ra/s @ 10 yêu cầu đồng thời