16 000 tokens per sekund! 🤯 Jag har ALDRIG sett så här många tokens i mitt liv!! > Nvidia B200 från Prime > Trinity Mini från Arcee (26B, MOE) > betjänas av VLLM (0,13) med 8 tensorer parallellism > pipeline för generering av medicinska SYNTH-dataset > ~350 krav/s > ~16 000 tps!! FAN!