Google trénoval model na zprávách milionů uživatelů. Aniž bych kdy viděl jedinou zprávu. Jmenuje se Federated Learning. Google, Apple, Meta a všechny velké technologické firmy ho používají. Dovolte mi vysvětlit, jak to funguje: Představte si, že chcete postavit klávesnici, která předpovídá, co uživatelé budou psát dál. Nejlepší tréninková data? Skutečné zprávy z milionů telefonů. Ale nemůžeš ho vybrat. Je soukromý, citlivý a uživatelé by se vzbouřili. Federované učení mění situaci naopak. Místo toho, abyste přinášeli data do modelu, přinášíte model k datům. Zde je návod, jak na to: "Pošlete modelku ven." Váš telefon stáhne malou neuronovou síť. Je to lokálně na vašem zařízení. → Toto je globální model W "Trénujte tam, kde jsou data." Zatímco píšeš, telefon tiše rozpoznává tvé vzorce. "omw" → "Be There for 10". Počítá, jak by se model měl zlepšit. → Jedná se o lokální gradienty ΔW "Pošli zpátky jen poznatky." Váš telefon posílá serveru aktualizace váhy. Ne tvé zprávy. Ne historie psaní. Jen matematika. → Toto je krok agregace aktualizací "Průměr na tisících zařízení" Server kombinuje aktualizace z tisíců telefonů. Běžné vzorce se posilují. Jednotlivé zvláštnosti se vyrušují. → Toto je FedAvg: W_new = W + (1/n) × Σ(ΔWk) Čtyři kroky. Žádná surová data neopouštějí vaše zařízení. Jen elegantní koordinace (viz vizuál níže). Nejlepší část: Tím se odemykají data, která dříve nebylo možné použít. Nemocnice spolupracují na detekci rakoviny, aniž by sdílely snímky pacientů. Banky vytvářejí modely podvodů, aniž by odhalovaly transakce na povrch. Chytré domácnosti se učí preference bez soukromých okamžiků, které by se dostaly do cloudu. Soukromí a užitečnost nejsou kompromisy. Respektování datových hranic je to, co model umožňuje. Než tedy všechno centralizujete, zvažte: nejlepší tréninková data už mohou existovat, uvězněná na zařízeních, ke kterým se nikdy přímo nedostanete. V dalším tweetu jsem sdílel opravdu dobré video vysvětlující téma.

Federované učení vysvětlující od IBM: