🚀 vLLM saavutti juuri 70 000 GitHub-tähteä! 🎉 Moottori on kehittynyt nopeasti viimeisestä virstanpylväästä lähtien. Olemme panostaneet voimakkaasti laajamittaiseen palveluun — tuotantotason monisolmutukeen NVIDIA Blackwellillä WideEP:llä ja asiantuntevalla rinnakkaisuudella, mikä tekee suurimpien mallien palvelemisesta käytännöllistä laajassa mittakaavassa. Lisää malleja, enemmän laitteistoa, asynkronista aikataulutusta suuremman läpimenon saavuttamiseksi, reaaliaikaista suoratoistoa puheelle ja äänelle sekä kasvava monimodaalinen tarina tekstin, näön, videon ja äänen parissa. Suuret kiitokset sponsoreillemme, 2 100+ kirjoittajallemme, ystäville @PyTorch:lta, @huggingface Transformersilta sekä mallilaboratorioille, joiden kanssa teemme tiivistä yhteistyötä tuodaksemme päivän 0 tukea — @deepseek_ai, @Alibaba_Qwen, @MiniMax_AI, @Kimi_Moonshot, @MistralAI sekä kumppaneille @NVIDIAAIDev, @RedHat_AI, @AIatAMD, @AIatMeta ja monille muille, joita emme mahdu tänne — kaikki auttavat tuomaan vLLM:n useammille alustoille ja useammille ihmisille. Sinä teet tästä ekosysteemistä sen, mitä se on. 💛💙 Tänä aikana @inferact perustettiin myös vLLM:n luojien ja ydinylläpitäjien toimesta, omistautuen vLLM:n kasvattamiseen ja inferencen halvemmaksi ja nopeammaksi. Seuraavaan lukuun — yhdessä. Helppoa, nopeaa ja halpaa LLM-tarjoilua kaikille. 🌍