🚀 vLLM щойно досяг 70 тисяч зірок на GitHub! 🎉 Двигун постійно швидко розвивався з моменту останнього рубежу. Ми активно просуваємо підтримку багатовузлових сервісів у виробництві на NVIDIA Blackwell з WideEP і експертним паралелізмом, що робить практичним обслуговування найбільших моделей у масштабі. Більше моделей, більше апаратного забезпечення, асинхронне планування для вищої пропускної здатності, стрімінг у реальному часі для мовлення та аудіо, а також зростаюча мультимодальна історія у тексті, зорі, відео та голосі. Величезна подяка нашим спонсорам, нашим 2 100+ учасникам, друзям з @PyTorch, @huggingface Transformers та модельним лабораторіям, з якими ми тісно співпрацюємо, щоб забезпечити підтримку на перший день — @deepseek_ai, @Alibaba_Qwen, @MiniMax_AI, @Kimi_Moonshot, @MistralAI, а також партнерам @NVIDIAAIDev, @RedHat_AI, @AIatAMD, @AIatMeta та багатьом іншим, яких ми тут не вмістимо — усе це допомагає принести vLLM на більшу кількість платформ і людей. Ви робите цю екосистему такою, якою вона є. 💛💙 Також у цей час @inferact була заснована творцями та основними підтримувачами vLLM, присвячена розвитку vLLM та здешевленню та швидкості інференції. Переходимо до наступного розділу — разом. Легка, швидка та недорога LLM для всіх. 🌍