Початкові тести для Kimi-K2.5 через KTransformers+SGLang, на гібридному 4x RTX Pro 6000 Blackwell + 640GB/1,5TB CPU offload. Обчислення надаються капсулами Lium: - 19.97 Вихідні tok/s @ 10 одночасних запитів - Середній TTFT: ~120 з - Медіана TTFT: ~102s Потрібно поекспериментувати з прапорцями KT для подальшої оптимізації цієї конфігурації, яка сильно залежить від загальної кількості ядер процесора та доступної оперативної пам'яті. Найочевидніше вузьке місце є GPU <-> PCIe <-> RAM Експерти за шаром MoE про GPU: --kt-num-gpu-експерти=128 Ядра процесорів, призначених для виведення MoE: --kt-cpuinfer=104 Експерти з CPU працюють з перекриваючими роботами GPU: --kt-max-відкладено-експерти-за-токен=2 Максимальна кількість токенів на шматок попереднього заповнення: --chunked-prefill-size=32658 Захоплення графа CUDA вимкнено: --disable-cuda-graph

Прапорці KTransformers+SGLang для відтворення роботи: ========== експорт CUDA_VISIBLE_DEVICES=0,1,2,3 експорт OMP_NUM_THREADS=1 експорт MKL_NUM_THREADS=1 Експорт OPENBLAS_NUM_THREADS=1 Експорт NUMEXPR_NUM_THREADS=1 Експорт VECLIB_MAXIMUM_THREADS=1 python -m sglang.launch_server \ --<HF_PATH>model-path /models--moonshotai--Kimi-K2.5/snapshots/3367c8d1c68584429fab7faf845a32d5195b6ac1 \ --kt-weight-path <HF_PATH>/models--moonshotai--Kimi-K2.5/snapshots/3367c8d1c68584429fab7faf845a32d5195b6ac1 \ --kt-cpuinfer 104 \ --kt-threadpool-count 2 \ --kt-num-gpu-експерти 128 \ --kt-max-deferred-experts-per-token 2 \ --kt-метод RAWINT4 \ --kt-gpu-prefill-token-threshold 400 \ --kt-експерт-розміщення-стратегія уніформа \ --trust-remote-code \ --mem-fraction-static 0.90 \ --обслуговувався-модель-ім'я kimi_k2 \ --tool-call-parser kimi_k2 \ --раціональний аналіз kimi_k2 \ --disable-radix-cache \ --disable-chunked-prefix-cache \ --включити-змішати-чанк \ --тензор-паралельний розмір 4 \ --enable-p2p-check \ --disable-shared-experts-fusion \ --chunked-prefill-size 32658 \ --max-total-tokens 120000 \ --attention-backend flashinfer \ --disable-cuda-graph \ --хост 0.0.0.0 \ --порт 8000