Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
WIELKA EKSCYTACJA: Pierwszy Minimax m2.5 NVFP4 quant na huggingface. 83tok/s pojedynczy strumień vllm na podwójnej RTX 6000. Czyli około dwa razy szybszy niż system Mac 512gb, który kosztuje połowę mniej. Tylko że Mac nie może również osiągnąć 1000+ tok/s przez 32+ równoczesne połączenia. Limit mocy @ 550W na gpu w tym teście.
lukealonso/MiniMax-M2.5-NVFP4
przepis vllm, którego użyłem w opisie obrazu

Najlepsze
Ranking
Ulubione
