Félicitations à @Alibaba_Qwen pour la sortie de Qwen-Image-2512 ! 🎉 Nous sommes ravis d'annoncer le support Day-0 dans vLLM-Omni. Vous pouvez maintenant servir ce modèle d'image open-source SOTA avec notre architecture optimisée en pipeline immédiatement. Lisez-en plus : 👇 Voyez-le fonctionner ci-dessous :

L'inférence MoE à grande échelle est souvent limitée par la communication et le cache KV : une fois que vous poussez le parallélisme des experts, le décodage peut être dominé par les collectifs et le déséquilibre, et les retards de pré-remplissage peuvent bloquer tout un groupe EP. De nouveaux résultats de référence de la communauté pour vLLM wide-EP sur H200 multi-nœuds (Coreweave, Infiniband + ConnectX-7) : - Environ 2,2k tokens/s soutenus par GPU H200 (contre environ 1,5k tokens/s par GPU auparavant) Dans le post, nous partageons les éléments clés qui permettent cela : - Wide-EP (`--enable-expert-parallel`) pour l'efficacité MoE de style DeepSeek + MLA KV - DeepEP all-to-all, chevauchement de double lot (DBO) et équilibrage de charge parallèle des experts (EPLB) - Désagrégation et chemins de déploiement Pré-remplissage/Décodage via llm-d, NVIDIA Dynamo et Ray Serve LLM

vLLM offre encore plus de performances d'inférence avec la même plateforme GPU. En seulement 1 mois, nous avons travaillé avec NVIDIA pour augmenter le débit maximum par GPU de @nvidia Blackwell jusqu'à 33 % -- réduisant ainsi considérablement le coût par jeton -- tout en permettant également une vitesse de pointe encore plus élevée pour les cas d'utilisation les plus sensibles à la latence, grâce à une intégration et une collaboration approfondies avec PyTorch.