Googleは何百万ものユーザーのメッセージをもとにモデルを訓練しました。 一度もメッセージを見たことがない。 それはフェデレーテッドラーニング(Federated Learning)と呼ばれています。Google、Apple、Meta、そしてすべての大手テック企業が使っています。 仕組みを説明させてください: ユーザーが次に何を入力するか予測するキーボードを作りたいと想像してください。 最良のトレーニングデータは?何百万台もの電話からの実際のメッセージ。でも回収はできない。それはプライベートで敏感なものであり、ユーザーは反発するでしょう。 フェデレードラーニングは状況を逆転させます。モデルにデータを持参するのではなく、モデルをデータに持ち込むのです。 その方法は以下の通りです: 「モデルを送り出せ。」 あなたの電話は小さなニューラルネットワークをダウンロードします。それはあなたのデバイス上でローカルに存在します。 → これはグローバルモデルWです 「データがある場所を訓練しろ。」 あなたがタイプしている間、スマートフォンは静かにあなたのパターンを学習します。「OMW」→「10分後に着く」と。モデルの改善方法を計算します。 → これらは局所勾配 ΔW です 「学んだことだけを返し返せ。」 スマホは体重の更新をサーバーに送信します。メッセージじゃない。あなたのタイピング履歴ではありません。ただの数学です。 → これが更新集約のステップです 「数千台のデバイス間で平均」 サーバーは数千台のスマホからのアップデートを統合しています。よくあるパターンが強化される。個々の癖は相殺されます。 → これはFedAvg:W_new = W + (1/n) × Σ(ΔWk) 四歩。生データはデバイスから一切出ません。ただ優雅な協調(下記のビジュアルを参照)だけです。 一番の魅力は: これにより、以前は使えなかったデータを解放します。 病院は患者のスキャンを共有することなく、がん検出に協力しています。銀行は取引を暴露せずに不正モデルを構築します。スマートホームはプライベートな瞬間がクラウドに届くことなく、好みを学習します。 プライバシーと利便性はトレードオフではありません。データ境界を尊重することがモデルの実現を可能にしています。 ですから、すべてを中央集約する前に考えてみてください:最良のトレーニングデータはすでに存在し、直接アクセスできないデバイスに閉じ込められているかもしれません。 次のツイートでは、この件についてとても良い解説動画を紹介しました。

IBMによるフェデレーテッドラーニング解説: