🚀 vLLM właśnie osiągnął 70K gwiazdek na GitHubie! 🎉 Silnik szybko się rozwija od ostatniego kamienia milowego. Mocno pracowaliśmy nad dużą skalą serwowania — wsparcie produkcyjne dla wielu węzłów na NVIDIA Blackwell z WideEP i eksperckim równoległym przetwarzaniem, co czyni praktycznym serwowanie największych modeli na dużą skalę. Więcej modeli, więcej sprzętu, asynchroniczne planowanie dla wyższej przepustowości, strumieniowanie w czasie rzeczywistym dla mowy i dźwięku oraz rosnąca historia multimodalna obejmująca tekst, wizję, wideo i głos. Ogromne podziękowania dla naszych sponsorów, naszych 2,100+ współpracowników, przyjaciół z @PyTorch, @huggingface Transformers oraz laboratoriów modelowych, z którymi ściśle współpracujemy, aby zapewnić wsparcie od dnia 0 — @deepseek_ai, @Alibaba_Qwen, @MiniMax_AI, @Kimi_Moonshot, @MistralAI oraz partnerów @NVIDIAAIDev, @RedHat_AI, @AIatAMD, @AIatMeta i wielu innych, których nie możemy tutaj wymienić — wszyscy pomagają wprowadzać vLLM na więcej platform i do większej liczby ludzi. Tworzycie ten ekosystem takim, jakim jest. 💛💙 Równocześnie w tym czasie, @inferact zostało założone przez twórców i głównych opiekunów vLLM, poświęcone rozwojowi vLLM i uczynieniu wnioskowania tańszym i szybszym. Przechodzimy do następnego rozdziału — razem. Łatwe, szybkie i tanie serwowanie LLM dla wszystkich. 🌍