Google навчила модель на мільйонах повідомлень користувачів. Жодного разу не побачивши жодного повідомлення. Це називається Федеративне навчання. Google, Apple, Meta та всі великі технологічні компанії його використовують. Дозвольте пояснити, як це працює: Уявіть, що ви хочете створити клавіатуру, яка передбачає, що користувачі напишуть далі. Найкращі тренувальні дані? Справжні повідомлення з мільйонів телефонів. Але ти не можеш його зібрати. Це приватно, чутливо, і користувачі будуть бунтувати. Федеративне навчання змінює ситуацію. Замість того, щоб приносити дані до моделі, ви приносите модель до даних. Ось як: "Відправте модель." Ваш телефон завантажує невелику нейронну мережу. Він знаходиться локально на вашому пристрої. → Це глобальна модель W "Тренуй там, де знаходяться дані." Поки ви друкуєте, ваш телефон тихо вивчає ваші візерунки. "Омв" → "буду там через 10". Він розраховує, як модель має покращуватися. → Це локальні градієнти ΔW "Надсилайте назад лише знання." Ваш телефон надсилає оновлення ваги на сервер. Не твої повідомлення. Не твоя історія набору тексту. Просто математика. → Це етап агрегування оновлень "Середнє значення на тисячі пристроїв" Сервер поєднує оновлення з тисяч телефонів. Поширені закономірності підсилюються. Індивідуальні квірки компенсуються. → Це FedAvg: W_new = W + (1/n) × Σ(ΔWk) Чотири кроки. Жодні сирі дані не залишають ваш пристрій. Просто елегантна координація (див. візуальне зображення нижче). Найкраще: Це відкриває дані, які раніше було неможливо використовувати. Лікарні співпрацюють у виявленні раку без обміну скануваннями пацієнтів. Банки створюють моделі шахрайства, не розкриваючи транзакції. Розумні будинки засвоюють вподобання без того, щоб приватні моменти не потрапили в хмару. Приватність і корисність — це не компроміси. Повага до меж даних робить цю модель можливою. Тож перед тим, як усе централізувати, подумайте: найкращі навчальні дані вже можуть існувати, затримані на пристроях, до яких ви ніколи не отримаєте прямого доступу. У наступному твіті я поділився дуже хорошим відео-поясненням на цю тему.

Пояснення федеративного навчання від IBM: