Ważne jest, aby potwierdzić, że twoja biblioteka może być używana przez LLM. Ten LLM, który zakodował flash attention w tinygrad, przewyższa wersję AOTriton w PyTorch na moim AMD Strix Halo.
harshbajpai
harshbajpai15 godz. temu
Haha, geohot oznacza PR-y linią "ai slop" XD
I to nie jest blisko. Jest 1,8 razy szybsze. To korzysta z DSL tinygrad. Zastąpieniem BEAM będzie LLM.
79