Google heeft een model getraind op miljoenen berichten van gebruikers. Zonder ooit een enkel bericht te zien. Het heet Federated Learning. Google, Apple, Meta en elk groot technologiebedrijf gebruiken het. Laat me uitleggen hoe het werkt: Stel je voor dat je een toetsenbord wilt bouwen dat voorspelt wat gebruikers als volgende typen. De beste trainingsdata? Werkelijke berichten van miljoenen telefoons. Maar je kunt het niet verzamelen. Het is privé, gevoelig, en gebruikers zouden in opstand komen. Federated learning draait het om. In plaats van data naar het model te brengen, breng je het model naar de data. Zo werkt het: "Stuur het model uit." Je telefoon downloadt een klein neuraal netwerk. Het leeft lokaal op je apparaat. → Dit is het globale model W "Train waar de data zich bevindt." Terwijl je typt, leert je telefoon stilletjes je patronen. "omw" → "ben er over 10 minuten". Het berekent hoe het model moet verbeteren. → Dit zijn lokale gradiënten ΔW "Stuur alleen de leerresultaten terug." Je telefoon stuurt gewichtupdates naar de server. Niet je berichten. Niet je typgeschiedenis. Alleen wiskunde. → Dit is de update-aggregatiestap "Gemiddeld over duizenden apparaten" De server combineert updates van duizenden telefoons. Algemene patronen versterken. Individuele eigenaardigheden vallen weg. → Dit is FedAvg: W_nieuw = W + (1/n) × Σ(ΔWₖ) Vier stappen. Geen ruwe data verlaat je apparaat. Alleen elegante coördinatie (zie de afbeelding hieronder). Het beste deel: Dit ontsluit data die voorheen onmogelijk te gebruiken was. Ziekenhuizen werken samen aan kankerdetectie zonder patiëntscans te delen. Banken bouwen fraudemodellen zonder transacties bloot te stellen. Slimme huizen leren voorkeuren zonder dat privé-momenten de cloud bereiken. Privacy en nut zijn geen afwegingen. Het respecteren van datagrenzen maakt het model mogelijk. Dus voordat je alles centraliseert, overweeg: de beste trainingsdata bestaat misschien al, gevangen op apparaten die je nooit direct zult benaderen. In de volgende tweet heb ik een echt goede video-uitleg hierover gedeeld.

Uitleg over gefedereerd leren door IBM: