.@vllm_project se rychle stal hlavním open source enginem pro efektivní odvozování velkých jazykových modelů, který vyvažuje výkon se silným vývojářským zážitkem. Přímé příspěvky na projekty, jako je vLLM, ve společnosti NVIDIA odrážejí závazek rozvíjet infrastrukturu umělé inteligence s otevřeným zdrojovým kódem pro každého. V těchto otázkách a odpovědích se Benjamin Chislett, hlavní systémový softwarový inženýr ve společnosti NVIDIA a Committer pro vLLM, podělí o svůj pohled na utváření budoucnosti projektu, svou práci na spekulativním dekódování a o to, proč je spolupráce s otevřeným zdrojovým kódem důležitá pro umělou inteligenci ve velkém měřítku. 🔗