🎉Congratulazioni al team di @Zai_org per il lancio di GLM-4.6V e GLM-4.6V-Flash — con supporto per il day-0 in vLLM Recipes per i team che vogliono eseguirli sui propri GPU. GLM-4.6V si concentra su ragionamenti multimodali di alta qualità con contesto lungo e chiamate a strumenti/funzioni native, mentre GLM-4.6V-Flash è una variante da 9B ottimizzata per una latenza inferiore e distribuzioni a minore impronta; la nostra nuova vLLM Recipe include configurazioni pronte all'uso, guida multi-GPU e impostazioni orientate alla produzione. Se stai costruendo servizi di inferenza e vuoi GLM-4.6V nel tuo stack, inizia qui:

🎉 Congratulazioni al team di Mistral per il lancio della famiglia Mistral 3! Siamo orgogliosi di condividere che @MistralAI, @NVIDIAAIDev, @RedHat_AI e vLLM hanno lavorato a stretto contatto per fornire supporto completo Day-0 per l'intera gamma Mistral 3. Questa collaborazione ha reso possibile: • Checkpoint ottimizzati NVFP4 (llm-compressor) • Kernel Sparse MoE per Mistral Large 3 • Servizio disaggregato prefill/decode • Inferenza multimodale + contesto lungo • Inferenza efficiente su A100 / H100 / Blackwell 🙏 Un enorme grazie a @MistralAI, @NVIDIAAIDev e @RedHat_AI per la forte partnership e l'impegno ingegneristico che ha reso possibile l'ottimizzazione Day-0. Se desideri il percorso di distribuzione open-source più veloce ed efficiente per l'intera gamma Mistral 3—vLLM è pronto oggi.

Adoro questo: un contributore della comunità ha creato vLLM Playground per rendere l'inferenza visibile, interattiva e adatta agli esperimenti. Dai toggle di configurazione visiva alla generazione automatica di comandi, dal supporto GPU/M-chip all'integrazione di GuideLLM benchmarking + LLMCompressor — porta l'intero ciclo di vita di vLLM in un'unica UX unificata. Un grande applauso a micyang per questo contributo riflessivo e curato. 🔗