Kebanyakan orang berpikir komputasi terdesentralisasi gagal karena "tidak ada cukup GPU." Mereka menatap pasokan. Penghambat sebenarnya adalah koordinasi, dan siapa pun yang menyelesaikannya dapat menetapkan aturan untuk infrastruktur AI. 🧵

/2 Kami terus belajar pelajaran yang salah dari komputasi sukarelawan seperti Folding@Home. Pekerjaan itu mentolerir node lambat dan putus sekolah. Pelatihan dan inferensi AI modern menghukum inkonsistensi, satu GPU yang bersisik dapat menghentikan seluruh perjalanan.

/3 Satu pertanyaan terus muncul untuk kami: Bisakah GPU yang tersebar secara global dan tidak cocok berperilaku seperti satu mesin yang dapat diprediksi? Jika jawabannya tidak, keandalan dan pengalaman pengembang tidak pernah menjadi masalah, karena tidak ada yang dikirim.

/4 Internet membuat GPU berperilaku seperti instrumen dengan penyetelan yang berbeda. Tumpukan pusat data mengasumsikan waktu yang tepat. Mesh global memberi Anda jitter, bandwidth tidak merata, waktu henti acak, dan variasi perangkat keras. Koordinasi harus menyerap kekacauan itu.

/5 @YottaLabs mengambil rute OS, bukan rute pasar. Penjadwalan, komunikasi, pembongkaran memori, penanganan kesalahan, verifikasi. Intinya sederhana, ubah mesin yang tidak dapat diandalkan menjadi kluster yang berperilaku cukup dapat diprediksi untuk SLA.

/6 Wawasan paling konkret, membagi inferensi menjadi dua pekerjaan. Prefill membutuhkan GPU terbaik. Dekode dapat berjalan pada GPU yang lebih lemah. Desain itu menghentikan kartu mahal untuk menunggu yang murah, dan itu membuat "armada campuran" berguna alih-alih menyakitkan.

/7 Kemudian kemacetan tersembunyi, memindahkan memori kerja model (cache KV). Jika Anda mengirimkannya dalam satu transfer besar, Anda terhenti. Yotta mengalirkan potongan kecil saat komputasi berjalan, dan mengompresi cache, sehingga latensi WAN berhenti mendominasi.