FlashAttention je pravděpodobně konečným příspěvkem "AI PhD": > strávit roky studiem > rozumí věcem lépe než všichni ostatní > přepsat nízkoúrovňový kód inteligentnějším způsobem > dělat transformátory 2-4x rychlejší > v podstatě oběd zdarma > nyní běží na všech našich počítačích