Kimi-K2.5 qua KTransformers+SGLang trên cấu hình bộ nhớ hybrid GPU/CPU offload: 4x RTX Pro 6000 Blackwells + 640GB RAM Cơ sở ban đầu là trên 8x GPU sử dụng một tác vụ kiểu tác nhân mã hóa tổng hợp nhắm vào 2k-45k token đầu vào, 80-3k token đầu ra tối đa, và với tối đa 10 yêu cầu đồng thời. Đã chạy lại trên cấu hình hybrid mới Điều tốt nhất tôi có thể đạt được: - 23.03 token đầu ra/s @ 10 yêu cầu đồng thời - Thời gian TTFT trung bình: ~60s - Thời gian TTFT trung vị: ~64s Kết quả cơ sở: - 74.39 token đầu ra/s @ 10 yêu cầu đồng thời - Thời gian TTFT trung bình: ~9s - Thời gian TTFT trung vị: ~3.7s

Lệnh đầy đủ: export CUDA_VISIBLE_DEVICES=0,1,2,3 export OMP_NUM_THREADS=1 export MKL_NUM_THREADS=1 export OPENBLAS_NUM_THREADS=1 export NUMEXPR_NUM_THREADS=1 export VECLIB_MAXIMUM_THREADS=1 export PYTHONUNBUFFERED=1 exec python -m sglang.launch_server \ --model-path /workspace/models/huggingface/models--moonshotai--Kimi-K2.5/snapshots/54383e83fa343a1331754112fb9e3410c55efa2f \ --kt-weight-path /workspace/models/huggingface/models--moonshotai--Kimi-K2.5/snapshots/54383e83fa343a1331754112fb9e3410c55efa2f \ --kt-threadpool-count 1 \ --kt-method RAWINT4 \ --trust-remote-code \ --served-model-name kimi_k2 \ --tool-call-parser kimi_k2 \ --reasoning-parser kimi_k2 \ --disable-radix-cache \ --disable-chunked-prefix-cache \ --tensor-parallel-size 4 \ --enable-p2p-check \ --disable-shared-experts-fusion \ --disable-cuda-graph \ --host 0.0.0.0 \ --port 8000 \ --kt-cpuinfer 32 \ --kt-num-gpu-experts 128 \ --kt-max-deferred-experts-per-token 2 \ --kt-gpu-prefill-token-threshold 1024 \ --kt-expert-placement-strategy uniform \ --mem-fraction-static 0.92 \ --enable-mixed-chunk \ --chunked-prefill-size 32658 \ --max-total-tokens 200000 \ --attention-backend flashinfer