🎉 Gratulujeme týmu Mistral k uvedení rodiny Mistral 3! Jsme hrdí, že můžeme sdílet to, že @MistralAI, @NVIDIAAIDev, @RedHat_AI a vLLM úzce spolupracovali na zajištění plné podpory Day-0 pro celou řadu Mistral 3. Tato spolupráce umožnila: • NVFP4 (LLM-kompresor) optimalizované kontrolní body • Řídká MoE jádra pro Mistral Large 3 • Předplnění/dekódování rozčleněné servírování • Multimodální + dlouhokontextová inference • Efektivní inference na A100 / H100 / Blackwell 🙏 Obrovské díky patří @MistralAI, @NVIDIAAIDev a @RedHat_AI za silné partnerství a inženýrské úsilí, které umožnilo optimalizaci Day-0. Pokud chcete nejrychlejší a nejefektivnější open-source nasazení pro celou řadu Mistral 3 – vLLM je připraven už dnes.

To se mi líbí: komunitní přispěvatel vytvořil vLLM Playground, aby bylo inferování viditelné, interaktivní a přátelské k experimentům. Od vizuálních konfiguračních přepínač po automatické generování příkazů, od podpory GPU/M-čipu až po benchmarking GuideLLM + integraci LLMCompressor — spojuje celý životní cyklus vLLM do jednoho jednotného UX. Obrovské uznání pro micyang za tento promyšlený a vyladěný příspěvek. 🔗

vLLM je hrdý, že může podpořit @PrimeIntellect při post-trénování modelu🥰 INTELLECT-3