Učí se lidé jako transformátoři? Je to otázka, která zní téměř filozoficky, ale Pesnot Lerousseau a Summerfield ji proměnili v důkladný experiment. Trénovali jak lidi (n = 530), tak malé transformátorové sítě na stejném úkolu učení pravidel, poté manipulovali s jedinou proměnnou: statistickým rozdělením trénovacích příkladů – od plně rozmanité (každý příklad jedinečný) až po vysoce redundantní (stejné položky opakované stále dokola). Výsledek je výrazný. Lidé i transformátoři vykazují téměř stejnou citlivost na tuto manipulaci. Trénujte na různorodých datech a studenti zobecňují pravidla na nové situace ("učení v kontextu"). Trénujte na redundantních datech a oni si zapamatují konkrétní příklady ("učení s váhami"). Přechod mezi strategiemi probíhá ve stejném kritickém bodě (Zipfův exponent α ≈ 1) jak v biologických, tak umělých systémech. Ani jedno z nich nemůže snadno dělat obojí – dokud jim nedáte složené rozdělení kombinující rozmanitost a redundanci, kdy se lidé i transformátori stanou "dvojitými učečníky". Ale tady se rozcházejí: lidé mají z učebních osnov prospěch. Uvádějte různé příklady včas, lidé objeví obecné pravidlo, aniž by později ztratili schopnost si zapamatovat. Transformeři naopak trpí katastrofálními rušeními—cokoli, co se naučí vteři, přepíše to, co přišlo dřív. Důsledky pro AI i vzdělávání jsou: struktura tréninkových dat je stejně důležitá jako jejich obsah. A i když transformers mohou překvapivě odpovídat lidskému učení, stále jim chybí flexibilita, která by nám umožnila těžit z dobře navržených osnov. Článek: