🎉 Onnittelut Mistralin tiimille Mistral 3 -perheen lanseerauksesta! Olemme ylpeitä voidessamme kertoa, että @MistralAI, @NVIDIAAIDev, @RedHat_AI ja vLLM tekivät tiivistä yhteistyötä tarjotakseen täyden Day-0-tuen koko Mistral 3 -mallistolle. Tämä yhteistyö mahdollisti: • NVFP4 (llm-kompressori) optimoidut tarkistuspisteet • Harvat MoE-ytimet Mistral Large 3:lle • Esitäyttö/dekoodattu hajoteltu palvelu • Multimodaalinen + pitkän kontekstin päättely • Tehokas päättely A100 / H100 / Blackwellillä 🙏 Suuri kiitos @MistralAI:lle, @NVIDIAAIDev:lle ja @RedHat_AI:lle vahvasta kumppanuudesta ja insinöörityöstä, jotka mahdollistivat Day-0:n optimoinnin. Jos haluat nopeimman ja tehokkaimman avoimen lähdekoodin käyttöönoton koko Mistral 3 -sarjalle—vLLM on valmis jo tänään.

Rakastan tätä: yhteisön osallistuja loi vLLM Playgroundin tehdäkseen päättelystä näkyvää, interaktiivista ja kokeiluystävällisiä. Visuaalisista konfiguraatiokytkimistä automaattiseen komentojen generointiin, GPU/M-sirutuesta GuideLLM benchmarkingiin + LLMCompressor-integraatioon — se yhdistää koko vLLM:n elinkaaren yhdeksi yhtenäiseksi käyttökokemukseksi. Suuret kiitokset Micyangille tästä harkitusta, hiotusta panoksesta. 🔗

vLLM on ylpeä voidessaan tukea @PrimeIntellect:n INTELLECT-3-mallin🥰 jälkikoulutusta