Çoğu kişi merkeziyetsiz hesaplamanın "yeterli GPU olmaması" nedeniyle başarısız olduğunu düşünüyor. Tedarik izine bakıyorlar. Asıl engel koordinasyondur ve bunu çözen kişi yapay zeka altyapısının kurallarını belirler. 🧵

/2 Gönüllü hesaplamalardan sürekli yanlış ders alıyoruz Folding@Home. Bu işler yavaş düğümleri ve okuldan ayrılmaları tolere ediyor. Modern yapay zeka eğitimi ve çıkarım tutarsızlığı cezalandırır, tek bir bozuk GPU tüm çalışmayı durdurabilir.

/3 Bir soru sürekli aklımıza geliyor: Küresel olarak dağınık ve uyumsuz GPU'lar tek bir tahmin edilebilir makine gibi davranabilir mi? Cevap hayırsa, güvenilirlik ve geliştirici deneyimi hiç önemli değil, çünkü hiçbir şey gönderilmiyor.

/4 İnternet, GPU'ların farklı ayarlara sahip enstrümanlar gibi davranmasını sağlıyor. Veri merkezi yığınları mükemmel zamanlama varsayımında. Küresel bir mesh size titreme, düzensiz bant genişliği, rastgele durma ve donanım çeşitliliği sağlar. Koordinasyon bu karmaşayı emmeli.

/5 @YottaLabs, pazar yeri değil, işletim sistemi yolunu izliyor. Zamanlama, iletişim, bellek boşaltma, hata işleme, doğrulama. Mesele basit, güvenilmez makineleri SLA'lar için yeterince öngörülebilir şekilde davranan bir kümeye dönüştür.

/6 En somut içgörüler, çıkarımı iki işe ayırmak. Ön doldurma en iyi GPU'ları gerektirir. Decode daha zayıf GPU'larda çalışabilir. Bu tasarım, pahalı kartların ucuz kartlarda beklemesini engelliyor ve "karma filoları" acı verici değil de faydalı kılıyor.

/7 Sonra gizli darboğaz, modelin çalışma belleği (KV önbelleği) taşınıyor. Eğer tek bir transferle gönderirseniz, gecikmiş olursunuz. Yotta, hesaplama çalışırken küçük parçalar akıyor ve önbelleği sıkıştırıyor, böylece WAN gecikmesi baskın olmayı bırakıyor.