Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
vLLM
Gefeliciteerd @Alibaba_Qwen met de release van Qwen-Image-2512! 🎉
We zijn verheugd om Day-0 ondersteuning in vLLM-Omni aan te kondigen. Je kunt dit SOTA open-source afbeeldingsmodel nu onmiddellijk bedienen met onze geoptimaliseerde pipelined architectuur.
Lees meer:
👇 Zie het hieronder draaien:
31 dec 2025
🎁 Een nieuwjaarsgeschenk van Qwen — Qwen-Image-2512 is hier.
🚀 Onze decemberupgrade naar Qwen-Image, net op tijd voor het nieuwe jaar.
✨ Wat is nieuw:
• Meer realistische mensen — dramatisch verminderde "AI-uitstraling," rijkere gezichtsdetails
• Fijnere natuurlijke texturen — scherpere landschappen, water, vacht en materialen
• Sterkere tekstweergave — betere lay-out, hogere nauwkeurigheid in tekst–afbeelding compositie
🏆 Getest in 10.000+ blinde rondes op AI Arena, Qwen-Image-2512 staat als de sterkste open-source afbeeldingsmodel, terwijl het concurrerend blijft met gesloten-source systemen.
👉 Probeer het nu in Qwen Chat:
🤗 Hugging Face:
📦 ModelScope:
💻 GitHub:
📝 Blog:
🤗 Hugging Face Demo:
📦 ModelScope Demo:
✨API:
🎆 Begin het nieuwe jaar met betere afbeeldingen.
30
Het schalen van MoE-inferentie is vaak communicatie + KV-cache gebonden: zodra je expert-parallelisme toepast, kan decoderen gedomineerd worden door collectieven en onevenwichtigheid, en kunnen prefill-stragglers een hele EP-groep stilleggen.
Nieuwe community benchmarkresultaten voor vLLM wide-EP op multi-node H200 (Coreweave, Infiniband + ConnectX-7):
- Duurzaam ~2.2k tokens/s per H200 GPU (stijging van eerder ~1.5k tokens/s per GPU)
In de post delen we de belangrijkste onderdelen die dit mogelijk maken:
- Wide-EP (`--enable-expert-parallel`) voor DeepSeek-stijl MoE + MLA KV-efficiëntie
- DeepEP all-to-all, Dual-batch Overlap (DBO) en Expert Parallel Load Balancing (EPLB)
- Prefill/Decode ontkoppeling en implementatiepaden via llm-d, NVIDIA Dynamo en Ray Serve LLM
209
vLLM levert nog meer inferentieprestaties met hetzelfde GPU-platform.
In slechts 1 maand hebben we samengewerkt met NVIDIA om de maximale doorvoer per GPU van @nvidia Blackwell met tot 33% te verhogen -- wat de kosten per token aanzienlijk verlaagt -- terwijl we ook nog hogere pieksnelheden mogelijk maken voor de meest latentiegevoelige gebruiksscenario's, aangedreven door diepe PyTorch-integratie en samenwerking.
242
Boven
Positie
Favorieten