人間はトランスフォーマーのように学ぶのでしょうか? この問いはほとんど哲学的に聞こえるかもしれませんが、ペスノ・ルルーソーとサマーフィールドはこれを厳密な実験に昇華させました。彼らは人間(n = 530)と小規模トランスフォーマーネットワークの両方を同じルール学習タスクで訓練し、その後、訓練例の統計的分布を操作しました。それは、完全に多様な(すべての例が唯一無二)から非常に冗長なもの(同じ項目が何度も繰り返される)までです。 その結果は印象的です。人間もトランスフォーマーもこの操作に対してほぼ同じ感受性を示します。多様なデータで訓練し、学習者はルールを新しい状況に一般化します(「文脈内学習」)。冗長なデータで訓練し、具体的な例を暗記します(「インウェイト学習」)。戦略間の遷移は、生物学的システムと人工システムの両方で同じ臨界点(ジップ指数α ≈1)で起こります。どちらも簡単に両方を同時に行うことはできません。多様性と冗長性を混ぜた複合分布を与えると、人間もトランスフォーマーも「二重学習者」となります。 しかし、ここで彼らが分かれるのは、人間はカリキュラムから恩恵を受けるということです。多様な例を早い段階で提示すれば、後で暗記する能力を失わずに一般化可能な法則を発見します。一方、トランスフォーマーは壊滅的な干渉を受けます。彼らが二度目に学んだものが、先に学んだものを上書きします。 AIと教育の両方にとっての影響は、トレーニングデータの構造が内容と同じくらい重要であるということです。トランスフォーマーは驚くほど人間の学習に匹敵するかもしれませんが、私たちがよく設計されたカリキュラムから恩恵を受けられる柔軟性はまだ欠けています。 論文: