Kimi-K2.5 via KTransformers+SGLang på en hybrid GPU/CPU-minneavlastningskonfigurasjon: 4x RTX Pro 6000 Blackwells + 640GB RAM Den opprinnelige baseline var på 8x GPU-er som brukte en syntetisk kodeagent-lignende arbeidsbelastning rettet mot 2k-45k input-tokens, 80-3k maks output tokens, og med opptil 10 samtidige forespørsler. Kjørte på nytt på det nye hybridoppsettet Det beste jeg kunne få: - 23,03 utgangstokens/s @ 10 samtidige forespørsler - Gjennomsnittlig TTFT: ~60-tallet - Median TTFT: ~64s Grunnlinjeresultater: - 74,39 utdatatokens/s @ 10 samtidige forespørsler - Gjennomsnittlig TTFT: ~9s - Median TTFT: ~3,7 sekunder

Full kommando: eksport CUDA_VISIBLE_DEVICES=0,1,2,3 eksport OMP_NUM_THREADS=1 eksport MKL_NUM_THREADS=1 eksport OPENBLAS_NUM_THREADS=1 eksport NUMEXPR_NUM_THREADS=1 eksport VECLIB_MAXIMUM_THREADS=1 export PYTHONUNBUFFERED=1 exec python -m sglang.launch_server \ --model-path /workspace/models/huggingface/models--moonshotai--Kimi-K2.5/snapshots/54383e83fa343a1331754112fb9e3410c55efa2f \ --kt-vekt-bane /arbeidsområde/modeller/huggingface/modeller--moonshotai--Kimi-K2.5/snapshots/54383e83fa343a1331754112fb9e3410c55efa2f \ --kt-threadpool-count 1 \ --kt-metode RAWINT4 \ --trust-remote-code \ --tjente-modell-navn kimi_k2 \ --tool-call-parser kimi_k2 \ --reasoning-parser kimi_k2 \ --disable-radix-cache \ --disable-chunked-prefix-cache \ --tensor-parallel-størrelse 4 \ --aktiver-p2p-sjekk \ --deaktivere-delte-eksperter-fusjon \ --disable-cuda-graf \ --vert 0.0.0.0 \ --port 8000 \ --kt-cpuinfer 32 \ --kt-num-gpu-eksperter 128 \ --kt-max-deferred-experts-per-token 2 \ --kt-gpu-prefill-token-threshold 1024 \ --kt-ekspert-plassering-strategi uniform \ --mem-fraksjon-statisk 0,92 \ --enable-mixed-chunk \ --chunked-prefill-størrelse 32658 \ --max-total-tokens 2000000 \ --oppmerksomhet-backend flashinfer