FlashAttention est probablement la contribution ultime de "AI PhD" : > passer des années à étudier > comprendre les choses mieux que tout le monde > réécrire le code bas niveau de manière plus intelligente > rendre les transformateurs 2 à 4 fois plus rapides > essentiellement un repas gratuit > maintenant, cela fonctionne sur tous nos ordinateurs