Google, milyonlarca kullanıcının mesajı üzerinde bir model eğitti. Tek bir mesaj bile görmeden. Buna Federated Learning deniyor. Google, Apple, Meta ve tüm büyük teknoloji şirketleri bunu kullanıyor. Nasıl çalıştığını açıklayayım: Kullanıcıların bir sonraki yazdığı şeyi tahmin eden bir klavye yapmak istediğinizi hayal edin. En iyi eğitim verisi nedir? Milyonlarca telefondan gelen gerçek mesajlar. Ama onu alamazsınız. Bu özel, hassas ve kullanıcılar isyan ederdi. Federe öğrenme senaryoyu tersine çeviriyor. Veriyi modele getirmek yerine, modeli veriye getiriyorsunuz. İşte nasıl yapılacak: "Modeli gönder." Telefonunuz küçük bir sinir ağı indiriyor. Cihazınızda yerel olarak yaşıyor. → Bu küresel model W "Verinin yaşadığı yerde eğitim ver." Yazarken, telefonunuz sessizce kalıplarınızı öğreniyor. "omw" → "10 dakika içinde orada ol" gibi bir şey var. Modelin nasıl geliştirilmesi gerektiğini hesaplar. → Bunlar yerel gradyanlar ΔW'dir "Sadece öğrendikleri geri gönder." Telefonunuz sunucuya ağırlık güncellemeleri gönderiyor. Senin mesajların değil. Yazma geçmişin değil. Sadece matematik. → Bu, güncelleme toplama adımıdır "Binlerce cihazda ortalama" Sunucu, binlerce telefondan gelen güncellemeleri birleştiriyor. Yaygın kalıplar pekiştiriyor. Bireysel tuhaflıklar birbirini dengeler. → Bu FedAvg: W_new = W + (1/n) × Σ(ΔWk) Dört adım. Cihazınızdan hiç ham veri çıkmaz. Sadece zarif bir koordinasyon (aşağıdaki görsel izle bakınız). En güzel kısmı: Bu, daha önce kullanılamayan verileri açar. Hastaneler, hasta taramalarını paylaşmadan kanser tespiti konusunda iş birliği yapar. Bankalar, işlemleri ifşa etmeden dolandırıcılık modelleri oluşturur. Akıllı evler, özel anların buluta düşmeden tercihlerini öğrenir. Gizlilik ve fayda takas değildir. Veri sınırlarına saygı göstermek, modeli mümkün kılan şeydir. Her şeyi merkezileştirmeden önce şunu düşünün: en iyi eğitim verisi zaten var olabilir, doğrudan erişemeyeceğiniz cihazlarda hapsolmuş olabilir. Bir sonraki tweet'te bu konuda gerçekten iyi bir video açıklaması paylaştım.

IBM tarafından Federated Learning açıklayıcısı: