🎉Selamat kepada tim @Zai_org atas peluncuran GLM-4.6V dan GLM-4.6V-Flash — dengan dukungan penyajian hari 0 di Resep vLLM untuk tim yang ingin menjalankannya di GPU mereka sendiri. GLM-4.6V berfokus pada penalaran multimodal berkualitas tinggi dengan konteks panjang dan panggilan alat/fungsi asli, sedangkan GLM-4.6V-Flash adalah varian 9B yang disetel untuk latensi yang lebih rendah dan penerapan jejak yang lebih kecil; Resep vLLM baru kami mengirimkan konfigurasi siap jalan, panduan multi-GPU, dan default yang berpikiran produksi. Jika Anda membangun layanan inferensi dan menginginkan GLM-4.6V di tumpukan Anda, mulailah di sini:

🎉 Selamat kepada tim Mistral atas peluncuran keluarga Mistral 3! Kami dengan bangga membagikan bahwa @MistralAI, @NVIDIAAIDev, @RedHat_AI, dan vLLM bekerja sama secara erat untuk memberikan dukungan penuh Day-0 untuk seluruh jajaran Mistral 3. Kolaborasi ini memungkinkan: • Pos pemeriksaan yang dioptimalkan NVFP4 (kompresor llm) • Kernel MoE Jarang untuk Mistral Large 3 • Isi / dekode porsi terpilah • Inferensi multimodal + konteks panjang • Inferensi yang efisien pada A100 / H100 / Blackwell 🙏 Terima kasih yang sebesar-besarnya kepada @MistralAI, @NVIDIAAIDev, dan @RedHat_AI atas upaya kemitraan dan rekayasa yang kuat yang memungkinkan pengoptimalan Day-0. Jika Anda menginginkan jalur penerapan sumber terbuka tercepat dan paling efisien untuk seluruh jajaran Mistral 3—vLLM siap hari ini.

Suka ini: kontributor komunitas membangun vLLM Playground untuk membuat inferensi terlihat, interaktif, dan ramah eksperimen. Dari sakelar konfigurasi visual hingga pembuatan perintah otomatis, dari dukungan GPU/M-chip hingga pembandingan GuideLLM + integrasi LLMCompressor — ini membawa seluruh siklus hidup vLLM ke dalam satu UX terpadu. Pujian besar untuk micyang atas kontribusi yang bijaksana dan dipoles ini. 🔗