Kimi-K2.5 через KTransformers+SGLang на гібридній конфігурації GPU/CPU пам'яті: 4x RTX Pro 6000 Blackwell + 640GB оперативної пам'яті Початкова база була на 8x GPU з використанням синтетичного кодувального агента, орієнтованого на 2k-45k вхідних токенів, 80-3k максимальних вихідних токенів і до 10 одночасних запитів. Повторний запуск на новій гібридній системі Найкраще, що я зміг отримати: - 23.03 виводних токенів/с @ 10 одночасних запитів - Середній TTFT: ~60s - Медіана TTFT: ~64s Базові результати: - 74.39 виводних токенів/с @ 10 одночасних запитів - Середній TTFT: ~9s - Медіана TTFT: ~3,7 с

Повне командування: експорт CUDA_VISIBLE_DEVICES=0,1,2,3 експорт OMP_NUM_THREADS=1 експорт MKL_NUM_THREADS=1 Експорт OPENBLAS_NUM_THREADS=1 Експорт NUMEXPR_NUM_THREADS=1 Експорт VECLIB_MAXIMUM_THREADS=1 експорт PYTHONUNBUFFERED=1 exec python -m sglang.launch_server \ --model-path /workspace/models/huggingface/models--moonshotai--Kimi-K2.5/snapshots/54383e83fa343a1331754112fb9e3410c55efa2f \ --kt-weight-path /workspace/models/huggingface/models--moonshotai--Kimi-K2.5/snapshots/54383e83fa343a1331754112fb9e3410c55efa2f \ --kt-threadpool-count 1 \ --kt-метод RAWINT4 \ --trust-remote-code \ --обслуговувався-модель-ім'я kimi_k2 \ --tool-call-parser kimi_k2 \ --раціональний аналіз kimi_k2 \ --disable-radix-cache \ --disable-chunked-prefix-cache \ --тензор-паралельний розмір 4 \ --enable-p2p-check \ --disable-shared-experts-fusion \ --disable-cuda-graph \ --хост 0.0.0.0 \ --порт 8000 \ --kt-cpuinfer 32 \ --kt-num-gpu-експерти 128 \ --kt-max-deferred-experts-per-token 2 \ --kt-gpu-prefill-token-threshold 1024 \ --kt-експерт-розміщення-стратегія уніформа \ --mem-fraction-static 0.92 \ --включити-змішати-чанк \ --chunked-prefill-size 32658 \ --max-total-tokens 200000 \ --attention-backend flashinfer