誰かがAppleのNeural Engineをバイパスしてモデルを訓練したのです。 すべてのMシリーズMacに搭載されているニューラルエンジンは推論のために設計されていました。 モデルを動かすだけで、トレーニングしないでください。公開APIもドキュメントも、ましてやバックプロパゲーションもありません。 研究者はプライベートAPIを逆解析し、ANEハードウェア上で順方向・後方パスを直接実行するトランストレーニングループを構築しました。 この方法はCoreMLを完全にバイパスします。 Appleの公式ツールを使う代わりに、プロジェクトはMIL(モデル中間言語)でプログラムを構築し、未公開の「_ANEClient」APIを使ってメモリ内でコンパイルし、IOSurfaceの共有メモリバッファを通じてデータをフィードしています。 重みはコンパイルされたプログラムに定数として組み込まれます。E ACHトレーニングステップは6つのカスタムカーネルをディスパッチします:注意順位、フィードフォワード、そして入力に対する勾配を計算する4つの後方パスです。 重さ勾配はAccelerateのマトリックスライブラリを使ってCPU上で動作しますが、重い負荷(マトリックス乗算、ソフトマックス、アクティベーション関数)はANE上で行われます。 これにより、以前にはなかった3つのことが可能になりました。 1. バッテリーを消費せずにローカルで小型モデルを訓練する方法 2. サーバーにデータを送ったりGPUを起動したりせずに、デバイス上で微調整を行う 3. Appleのガードレールを無視した場合にANEハードウェアが実際に何ができるかを調査する このアプローチが拡大すれば、次のオンデバイスAIの波は他人の凍結モデルを実行することではなくなるでしょう。