人類的學習方式是否像變壓器一樣？ 這是一個聽起來幾乎是哲學性的問題，但Pesnot Lerousseau和Summerfield將其轉化為一個嚴謹的實驗。他們在相同的規則學習任務上訓練了530名人類和小型變壓器網絡，然後操控了一個變數：訓練範例的統計分佈——從完全多樣化（每個範例都是獨特的）到高度冗餘（相同的項目重複出現）。 結果令人驚訝。人類和變壓器對這種操控的敏感性幾乎完全相同。在多樣化數據上訓練，學習者將規則概括到新情境中（「上下文學習」）。在冗餘數據上訓練，他們則記住特定範例（「權重學習」）。這兩種策略之間的轉變在生物系統和人工系統中都發生在相同的關鍵點（Zipf指數α ≈ 1）。兩者都不容易同時做到這一點——直到你給他們一個混合多樣性和冗餘的綜合分佈，此時人類和變壓器都成為了「雙重學習者」。 但他們的分歧在於：人類受益於課程。早期呈現多樣化範例，人們能夠發現可概括的規則，而不會失去後來記憶的能力。相比之下，變壓器則遭受災難性干擾——他們第二次學到的東西會覆蓋第一次學到的東西。 對於AI和教育的啟示是：訓練數據的結構與其內容一樣重要。儘管變壓器在某些驚人的方式上可能與人類學習相匹配，但它們仍然缺乏讓我們受益於精心設計課程的靈活性。 論文：