Skvělé @AMD vybrat vLLM jako jeden z určených inferenčních frameworků pro GPU MODE Hackathon. 🎉 Výzva: zvýšit end-to-end inferenční výkon Kimi K2.5 1T FP4 na 8× AMD Instinct MI355X — pomocí vLLM nebo AMD ATOM. Hlavní cena: 650 000 dolarů. Co to odlišuje: vítězné optimalizace musí být sloučeny s AMD ATOM nebo vLLM upstream. Vylepšení, která se dostanou do vLLM, prospívají celé komunitě. Fáze 1 (optimalizace jádra) trvá do 6. dubna. Více podrobností ⬇️