Google wytrenował model na milionach wiadomości użytkowników. Nie widząc ani jednej wiadomości. Nazywa się to Uczenie Federacyjne. Google, Apple, Meta i każda większa firma technologiczna to stosuje. Pozwól, że wyjaśnię, jak to działa: Wyobraź sobie, że chcesz zbudować klawiaturę, która przewiduje, co użytkownicy napiszą następnie. Najlepsze dane do treningu? Rzeczywiste wiadomości z milionów telefonów. Ale nie możesz ich zebrać. Są prywatne, wrażliwe, a użytkownicy by się zbuntowali. Uczenie federacyjne zmienia zasady gry. Zamiast przynosić dane do modelu, przynosisz model do danych. Oto jak: "Wyślij model na zewnątrz." Twój telefon pobiera małą sieć neuronową. Żyje lokalnie na twoim urządzeniu. → To jest globalny model W "Trenuj tam, gdzie są dane." Gdy piszesz, twój telefon cicho uczy się twoich wzorców. "omw" → "będę za 10 minut". Oblicza, jak model powinien się poprawić. → To są lokalne gradienty ΔW "Wyślij tylko wyniki nauki." Twój telefon wysyła aktualizacje wag do serwera. Nie twoje wiadomości. Nie twoja historia pisania. Tylko matematyka. → To jest krok agregacji aktualizacji "Średnia z tysięcy urządzeń" Serwer łączy aktualizacje z tysięcy telefonów. Wspólne wzorce się wzmacniają. Indywidualne cechy się znoszą. → To jest FedAvg: W_new = W + (1/n) × Σ(ΔWₖ) Cztery kroki. Żadne surowe dane nie opuszczają twojego urządzenia. Tylko elegancka koordynacja (zobacz wizualizację poniżej). Najlepsza część: To odblokowuje dane, które wcześniej były niemożliwe do wykorzystania. Szpitale współpracują w zakresie wykrywania nowotworów bez dzielenia się skanami pacjentów. Banki budują modele oszustw bez ujawniania transakcji. Inteligentne domy uczą się preferencji bez prywatnych momentów trafiających do chmury. Prywatność i użyteczność nie są kompromisami. Szacunek dla granic danych sprawia, że model jest możliwy. Więc zanim wszystko zcentralizujesz, zastanów się: najlepsze dane do treningu mogą już istnieć, uwięzione na urządzeniach, do których nigdy nie uzyskasz bezpośredniego dostępu. W następnym tweecie podzieliłem się naprawdę dobrym filmem wyjaśniającym to.

Wyjaśnienie uczenia federacyjnego od IBM: