Menjalankan beberapa beban kerja di Torchtitan dengan konfigurasi default, MFU 23%, mengubah sedikit konfigurasi, mengaktifkan kompilasi dan fleksibel, meningkatkan ukuran batch sedikit --> MFU 58%. Saya berharap kita memiliki default yang lebih berkinerja dalam ekosistem obor

Tujuan @PrimeIntellect sama, hanya saja tidak akan terpusat atau ditempatkan bersama

Mendemokratisasi akses ke komputasi adalah salah satu misi inti @PrimeIntellect

Saya jauh lebih cenderung mengatakan bahwa RL * sistem * di dalam OpenAI adalah AGI daripada pos pemeriksaan model tetap yang keluar darinya

Saya menyadari di acara Berlin kami bahwa ada banyak orang muda berbakat dan ambisius di Eropa. Hanya saja (hampir) tidak ada perusahaan yang menginspirasi untuk membangun masa depan atau VC yang memiliki bola untuk memberi mereka kesempatan. Tidak heran mengapa semua orang ingin Datang ke SF|

Open ai akan dikenang sebagai salah satu perusahaan paling inspiratif sepanjang masa

Saya tidak melihat gunanya basis kode mendefinisikan ukuran batch pada tingkat per gpu. Ini berarti perlu mengubah parameter ukuran batch secara manual saat eksperimen penskalaan naik/turun. Saya kira secara historis dilakukan dalam basis kode yang tidak memiliki acc grad ?

Kita harus lebih khawatir tentang pemikiran mempekerjakan semua orang pytorch daripada perburuan zuck dari ai terbuka

Jika Anda berada di ICML dan tertarik dengan kesimpulan yang dapat diverifikasi, pastikan untuk mampir ke poster kami! Kami akan menyajikan TOPLOC, metode hashing aktivasi efisien yang bekerja di berbagai pengaturan, misalnya mengganti pengaturan inferensi atau bahkan model. 16 Juli, 16:30, E-1106

Posting blog baru & perpustakaan baru keluar sekarang! BP adalah tentang MaxSim, mengapa *urutan besarnya* jauh lebih menuntut daripada kesamaan kosinus normal, dan mengapa GPU tidak peduli, tetapi CPU peduli! Perpustakaannya adalah maxsim-cpu, yang membuatnya sehingga CPU bisa cepat dan memainkannya dengan keren juga.