トランスフォーマーにおける静かな特徴学習 今週読んだ中でも最も興味深い論文の一つです。 説明させてください。 損失曲線はモデルが何を学んでいるかを誤解させる可能性があると主張しています。 ニューラルネットワークトレーニングの監視のデフォルトアプローチは、損失を主な進捗指標としています。損失が横減なら、何も起きていません。損失が減れば、学習が進行しているのです。 しかし、この前提はアルゴリズム的なタスクで崩れます。 この新しい研究では、トランスフォーマーに10の基礎的なアルゴリズム課題を訓練し、「静かな特徴」を発見しました。これは、失われているように見える間に内部表現が発展する現象です。 彼らは、モデルが中間計算ステップを学習するよりもはるかに早く、そのステップが出力性能を向上させることを発見しました。ビットのキャリー、BFSでのキューメンバーシップ、乗法における部分積のキャリー。これらの特徴は長期的な停滞期に現れ、突然組み合わさって課題を解決します。 研究者たちは、二進算術(加算、乗算)、グラフアルゴリズム(BFS、最短経路、位相ソート、MST)、および列の最適化(最大部分配列、活動選択)を対象に内部表現を探りました。 6つの課題は明確な二段階の転換を示しました。長期の停滞と急激な性能向上です。 焼灼実験で因果関係が確認されました。64ビット加算モデルからキャリー機能を削除すると、75.1%の精度低下が見られました。BFSでのキューメンバーシップのアブレイティングは、精度を43.6%低下させました。 アルゴリズム的タスクは複数のサブルーチンが同時に動作する必要があります。個々の正しい部品だけでは損失は減りません。すべてのピースが揃うまでは。モデルはフラットな損失曲線の下に潜在能力を蓄積します。 クロスエントロピーの損失は完全な診断手段ではないようです。指標が停滞しているように見える中で、実質的な内部学習が起こり得ます。これにより、損失曲線を超えたより豊かなモニタリングツールが生まれます。 🔖 (ブックマーク) 紙：