Google melatih model pada jutaan pesan pengguna. Tanpa pernah melihat satu pesan pun. Ini disebut Federated Learning. Google, Apple, Meta, dan setiap perusahaan teknologi besar menggunakannya. Izinkan saya menjelaskan cara kerjanya: Bayangkan Anda ingin membuat keyboard yang memprediksi apa yang diketik pengguna selanjutnya. Data pelatihan terbaik? Pesan aktual dari jutaan ponsel. Tapi Anda tidak bisa mengumpulkannya. Ini pribadi, sensitif, dan pengguna akan memberontak. Pembelajaran federasi membalik naskah. Alih-alih membawa data ke model, Anda membawa model ke data. Begini caranya: "Kirim modelnya." Ponsel Anda mengunduh jaringan saraf kecil. Aplikasi ini tersedia secara lokal di perangkat Anda. → Ini adalah model global W "Berlatih di mana data berada." Saat Anda mengetik, ponsel Anda diam-diam mempelajari pola Anda. "OMW" → "berada di sana di 10". Ini menghitung bagaimana model harus ditingkatkan. → Ini adalah gradien lokal ΔW "Kirim kembali hanya pembelajaran." Ponsel Anda mengirimkan pembaruan berat ke server. Bukan pesan Anda. Bukan riwayat pengetikan Anda. Hanya matematika. → Ini adalah langkah agregasi pembaruan "Rata-rata di ribuan perangkat" Server menggabungkan pembaruan dari ribuan ponsel. Pola umum menguatkan. Keunikan individu dibatalkan. → Ini adalah FedAvg: W_new = W + (1/n) × Σ(ΔWk) Empat langkah. Tidak ada data mentah yang keluar dari perangkat Anda. Hanya koordinasi yang elegan (lihat visual di bawah ini). Bagian terbaik: Ini membuka data yang sebelumnya tidak mungkin digunakan. Rumah sakit berkolaborasi dalam deteksi kanker tanpa berbagi pemindaian pasien. Bank membangun model penipuan tanpa mengekspos transaksi. Rumah pintar mempelajari preferensi tanpa momen pribadi yang menghantam cloud. Privasi dan utilitas bukanlah pengorbanan. Menghormati batas data adalah apa yang memungkinkan model. Jadi, sebelum Anda memusatkan semuanya, pertimbangkan: data pelatihan terbaik mungkin sudah ada, terjebak pada perangkat yang tidak akan pernah Anda akses secara langsung. Dalam tweet berikutnya saya telah membagikan penjelasan video yang sangat bagus tentang ini.

Penjelasan pembelajaran federasi oleh IBM: