Innledende tester for Kimi-K2.5 via KTransformers+SGLang, på en hybrid 4x RTX Pro 6000 Blackwell + 640GB/1,5TB CPU-minneavlastning. Beregning levert av Lium-pods: - 19,97 utdata tok/s @ 10 samtidige forespørsler - Gjennomsnittlig TTFT: ~120s - Median TTFT: ~102 sekunder Må leke med KT-flaggene for å optimalisere dette oppsettet ytterligere, som er sterkt avhengig av systemets totale CPU-kjerne og tilgjengelig RAM. GPU <-> PCIe <-> RAM-sammenkobling er den mest åpenbare flaskehalsen Eksperter ifølge MoE-laget på GPU: --kt-num-gpu-experts=128 CPU-kjerner dedikert til MoE-inferens: --kt-cpuinfer=104 CPU-eksperter jobber med overlappende GPU-arbeid: --kt-max-deferred-experts-per-token=2 Maks antall tokens per prefill-chunk: --chunked-prefill-size=32658 CUDA-graffangst deaktivert: --disable-cuda-graph

KTransformers+SGLang-flagg for å gjenskape arbeid: ========== eksport CUDA_VISIBLE_DEVICES=0,1,2,3 eksport OMP_NUM_THREADS=1 eksport MKL_NUM_THREADS=1 eksport OPENBLAS_NUM_THREADS=1 eksport NUMEXPR_NUM_THREADS=1 eksport VECLIB_MAXIMUM_THREADS=1 python -m sglang.launch_server \ --model-path <HF_PATH>/models--moonshotai--Kimi-K2.5/snapshots/3367c8d1c68584429fab7faf845a32d5195b6ac1 \ --kt-vekt-bane <HF_PATH>/modeller--moonshotai--Kimi-K2.5/snapshots/3367c8d1c68584429fab7faf845a32d5195b6ac1 \ --kt-cpuinfer 104 \ --kt-threadpool-count 2 \ --kt-num-gpu-eksperter 128 \ --kt-max-deferred-experts-per-token 2 \ --kt-metode RAWINT4 \ --kt-gpu-prefill-token-threshold 400 \ --kt-ekspert-plassering-strategi uniform \ --trust-remote-code \ --mem-fraksjon-statisk 0,90 \ --tjente-modell-navn kimi_k2 \ --tool-call-parser kimi_k2 \ --reasoning-parser kimi_k2 \ --disable-radix-cache \ --disable-chunked-prefix-cache \ --enable-mixed-chunk \ --tensor-parallel-størrelse 4 \ --aktiver-p2p-sjekk \ --deaktivere-delte-eksperter-fusjon \ --chunked-prefill-størrelse 32658 \ --max-total-tokens 120000 \ --oppmerksomhet-backend-flashinfer \ --disable-cuda-graf \ --vert 0.0.0.0 \ --port 8000