Google trente en modell på meldingene til millioner av brukere. Uten noen gang å se en eneste melding. Det kalles Federated Learning. Google, Apple, Meta og alle store teknologiselskaper bruker det. La meg forklare hvordan det fungerer: Tenk deg at du vil bygge et tastatur som forutsier hva brukerne skriver neste gang. De beste treningsdataene? Faktiske meldinger fra millioner av telefoner. Men du kan ikke hente den. Det er privat, sensitivt, og brukerne ville gjøre opprør. Føderert læring snur på hovedet. I stedet for å bringe data til modellen, bringer du modellen til dataene. Slik gjør du: "Send ut modellen." Telefonen din laster ned et lite nevralt nettverk. Den ligger lokalt på enheten din. → Dette er den globale modellen W "Tren der dataene ligger." Mens du skriver, lærer telefonen stille mønstrene dine. "omw" → "være der om 10". Den beregner hvordan modellen skal forbedres. → Dette er lokale gradienter ΔW "Send bare tilbake lærdommen." Telefonen din sender vektoppdateringer til serveren. Ikke meldingene dine. Ikke skrivehistorikken din. Bare matte. → Dette er oppdateringsaggregasjonssteget "Gjennomsnittlig på tvers av tusenvis av enheter" Serveren kombinerer oppdateringer fra tusenvis av telefoner. Vanlige mønstre forsterker. Individuelle quirks kansellerer hverandre. → Dette er FedAvg: W_new = W + (1/n) × Σ(ΔWk) Fire trinn. Ingen rådata forlater enheten din. Bare elegant koordinering (se bildet nedenfor). Det beste: Dette låser opp data som tidligere var umulig å bruke. Sykehus samarbeider om kreftoppdagelse uten å dele pasientskanninger. Banker bygger svindelmodeller uten å avsløre transaksjoner. Smarte hjem lærer preferanser uten at private øyeblikk treffer en sky. Personvern og nytte er ikke kompromisser. Å respektere datagrenser er det som gjør modellen mulig. Så før du sentraliserer alt, vurder: de beste treningsdataene kan allerede eksistere, fanget på enheter du aldri får direkte tilgang til. I neste tweet har jeg delt en veldig god videoforklaring om dette.

Føderert læringsforklaring fra IBM: