Google a antrenat un model pe mesajele a milioane de utilizatori. Fără să vadă vreun mesaj. Se numește Învățare Federată. Google, Apple, Meta și toate companiile mari de tehnologie îl folosesc. Permiteți-mi să vă explic cum funcționează: Imaginează-ți că vrei să construiești o tastatură care să prezică ce tastează utilizatorii în continuare. Cele mai bune date de antrenament? Mesaje reale de la milioane de telefoane. Dar nu poți să-l colectezi. Este privat, sensibil, iar utilizatorii s-ar revolta. Învățarea federată răstoarnă scenariul. În loc să aduci date în model, aduci modelul în date. Iată cum: "Trimite modelul." Telefonul tău descarcă o mică rețea neuronală. Locuiește local pe dispozitivul tău. → Acesta este modelul global W "Antrenează-te acolo unde trăiesc datele." Pe măsură ce tastezi, telefonul tău învață în liniște tiparele tale. "omw" → "fii acolo în 10". Calculează cum ar trebui să se îmbunătățească modelul. → Acestea sunt gradiente locale ΔW "Trimite înapoi doar învățăturile." Telefonul tău trimite actualizări cu greutatea către server. Nu mesajele tale. Nu istoricul tău de tastare. Doar matematică. → Acesta este pasul de agregare a actualizărilor "Medie pe mii de dispozitive" Serverul combină actualizări de la mii de telefoane. Tiparele comune se întăresc. Quirk-urile individuale se anulează. → Aceasta este FedAvg: W_new = W + (1/n) × Σ(ΔWk) Patru pași. Nicio dată brută nu iese din dispozitivul tău. Doar o coordonare elegantă (vezi vizualul de mai jos). Partea cea mai bună: Aceasta deblochează date care anterior erau imposibil de folosit. Spitalele colaborează la detectarea cancerului fără a împărți scanările pacienților. Băncile construiesc modele de fraudă fără a expune tranzacțiile. Casele inteligente învață preferințele fără ca momentele private să ajungă într-un cloud. Intimitatea și utilitatea nu sunt compromisuri. Respectarea limitelor de date este ceea ce face posibil modelul. Așadar, înainte să centralizezi totul, gândește-te: cele mai bune date de antrenament ar putea exista deja, blocate pe dispozitive la care nu vei avea acces direct. În următorul tweet am împărtășit o explicație video foarte bună despre asta.

Explicație despre învățarea federată de la IBM: