Google koulutti mallin miljoonien käyttäjien viesteihin. Näkemättä koskaan yhtään viestiä. Sitä kutsutaan Federated Learningiksi. Google, Apple, Meta ja kaikki merkittävät teknologiayritykset käyttävät sitä. Selitän, miten se toimii: Kuvittele, että haluat rakentaa näppäimistön, joka ennustaa, mitä käyttäjät seuraavaksi kirjoittavat. Parhaat harjoitustiedot? Oikeita viestejä miljoonilta puhelimilta. Mutta et voi kerätä sitä. Se on yksityinen, herkkä, ja käyttäjät kapinoisivat. Liittoutunut oppiminen kääntää käsikirjoituksen päälaelleen. Sen sijaan, että tuot dataa malliin, tuot mallin dataan. Näin näin: "Lähetä malli ulos." Puhelimesi lataa pienen neuroverkon. Se toimii paikallisesti laitteellasi. → Tämä on globaali malli W "Kouluta siellä, missä data on." Kirjoittaessasi puhelimesi oppii hiljaa kaavasi. "omw" → "ole siellä kymmenen minuutin päästä". Se laskee, miten mallin tulisi parantaa. → Nämä ovat paikallisia gradientteja ΔW "Lähetä takaisin vain opitukset." Puhelimesi lähettää painopäivityksiä palvelimelle. Ei viestejäsi. Ei kirjoitushistoriaasi. Pelkkää matematiikkaa. → Tämä on päivitysten aggregointivaihe "Keskiarvo tuhansilla laitteilla" Palvelin yhdistää päivityksiä tuhansista puhelimista. Yleiset kuviot vahvistavat sitä. Yksittäiset erikoiskyvyt kumoavat toisen. → Tämä on FedAvg: W_new = W + (1/n) × Σ(ΔWk) Neljä askelta. Raakadataa ei poistu laitteestasi. Vain elegantti koordinaatio (katso alla oleva kuva). Paras osa: Tämä avaa tietoja, joita aiemmin ei ollut mahdollista käyttää. Sairaalat tekevät yhteistyötä syövän havaitsemisessa jakamatta potilaskuvauksia. Pankit rakentavat petosmalleja paljastamatta tapahtumia. Älykodit oppivat mieltymyksensä ilman, että yksityiset hetket osuvat pilveen. Yksityisyys ja hyöty eivät ole kompromisseja. Datarajojen kunnioittaminen tekee mallin mahdolliseksi. Joten ennen kuin keskität kaiken, mieti: paras koulutusdata saattaa jo olla olemassa, vangittuna laitteilla, joihin et koskaan pääse suoraan käsiksi. Seuraavassa twiitissä olen jakanut todella hyvän videoselityksen tästä.

IBM:n Federated Learning -selitys: