Kütüphanenizin LLM'ler tarafından kullanılabileceğini doğrulamak önemlidir. Tinygrad'daki o LLM kodlu flash dikkat, AMD Strix Halo'mda PyTorch'taki AOTriton'dan daha iyi performans gösteriyor.
harshbajpai
harshbajpai15 Sa Önce
Haha, geohot PR'ları "ai slop" çizgisiyle etiketliyor XD
Ve yakın değil. 1,8 kat daha hızlı. Bu tinygrad DSL kullanıyor. BEAM'in yerine LLM geçecek.
137