Počáteční testy pro Kimi-K2.5 přes KTransformers+SGLang na hybridním 4x RTX Pro 6000 Blackwell + 640GB/1,5TB CPU offload. Výpočet poskytly Lium pods: - 19,97 výstupních tok/s @ 10 současných požadavků - Průměrná TTFT: ~120 s - Medián TTFT: ~102 s Je potřeba si pohrát s KT flagy, abych tuto konfiguraci ještě více optimalizoval, což hodně závisí na celkovém počtu jader CPU a dostupné RAM systému. Nejzřetelnější úzké hrdlo je propojení GPU <-> PCIe <-> RAM Experti na vrstvu MoE na GPU: --kt-num-gpu-experts=128 Jádra CPU určená pro inferenci MoE: --kt-cpuinfer=104 Odborníci na CPU pracují na překrývající se GPU: --kt-max-deferred-experts-per-token=2 Maximální počet tokenů na jeden blok předplnění: --chunked-prefill-size=32658 Zachycení grafů CUDA zakázáno: --vypnout-cuda-graf

KTransformers+SGLang vlajky pro reprodukci díla: ========== export CUDA_VISIBLE_DEVICES=0,1,2,3 export OMP_NUM_THREADS=1 export MKL_NUM_THREADS=1 export OPENBLAS_NUM_THREADS=1 export NUMEXPR_NUM_THREADS=1 export VECLIB_MAXIMUM_THREADS=1 python -m sglang.launch_server \ --model-path <HF_PATH>/models--moonshotai--Kimi-K2.5/snapshots/3367c8d1c68584429fab7faf845a32d5195b6ac1 \ --kt-weight-path <HF_PATH>/models--moonshotai--Kimi-K2.5/snapshots/3367c8d1c68584429fab7faf845a32d5195b6ac1 \ --kt-cpuinfer 104 \ --kt-threadpool-count 2 \ --kt-num-GPU-experti 128 \ --kt-max-deferred-experts-per-token 2 \ --kt-metoda RAWINT4 \ --kt-gpu-prefill-token-threshold 400 \ --kt-expert-placement-strategy uniform \ --důvěřuj-remote-code \ --mem-fraction-static 0,90 \ --obsloužené-jméno modelky kimi_k2 \ --parser pro volání nástrojů kimi_k2 \ --rozumový parser kimi_k2 \ --disable-radix-cache \ --disaktiv-chunked-prefix-cache \ --umožnit-smíšený-chunk \ --tenzor-paralelní-velikost 4 \ --enable-p2p-check \ --deaktivovat-sdílené-experty-fúze \ --velikost předplnění 32658 \ --max-celkem-tokenů 120000 \ --attention-backend flashinfer \ --disable-cuda-graph \ --host 0.0.0.0 \ --port 8000