(1/6) Jaringan GPU adalah hambatan efisiensi AI yang tersisa, dan perangkat keras yang mendasarinya berubah dengan cepat! Kami dengan senang hati merilis ParallelKittens, pembaruan untuk ThunderKittens yang memungkinkan Anda dengan mudah menulis kernel multi-GPU tumpang tindih komunikasi komputasi cepat, bersama dengan kernel baru untuk data, tensor, urutan, dan paralelisme ahli! Berikut adalah foto anak kucing yang tumpang tindih, bersama dengan hal-hal yang harus Anda perhatikan saat mengoptimalkan kernel multi-GPU. (Dengan @simran_s_arora, @bfspector, dan @hazyresearch. Didukung dengan murah hati oleh @cursor_ai dan @togethercompute)