Учится ли человек как трансформеры? Это вопрос, который звучит почти философски, но Песно Леруссо и Саммерфилд превратили его в строгий эксперимент. Они обучили как людей (n = 530), так и небольшие сети трансформеров на одной и той же задаче обучения правилам, а затем изменили одну переменную: статистическое распределение обучающих примеров — от полностью разнообразных (каждый пример уникален) до сильно избыточных (одни и те же элементы повторяются снова и снова). Результат поразителен. И люди, и трансформеры показывают почти идентичную чувствительность к этой манипуляции. Обучаясь на разнообразных данных, учащиеся обобщают правила на новые ситуации ("обучение в контексте"). Обучаясь на избыточных данных, они запоминают конкретные примеры ("обучение в весах"). Переход между стратегиями происходит в одной и той же критической точке (экспонента Ципфа α ≈ 1) как в биологических, так и в искусственных системах. Ни те, ни другие не могут легко делать и то, и другое — пока вы не предоставите им составное распределение, смешивающее разнообразие и избыточность, в этот момент и люди, и трансформеры становятся "двойными учащимися." Но вот где они расходятся: люди получают выгоду от учебных планов. Если представить разнообразные примеры в начале, люди открывают обобщаемое правило, не теряя способности запоминать позже. Трансформеры, напротив, страдают от катастрофического вмешательства — все, что они учат вторым, перезаписывает то, что было первым. Вывод для ИИ и образования: структура обучающих данных важна так же, как и их содержание. И хотя трансформеры могут удивительным образом соответствовать человеческому обучению, им все же не хватает гибкости, которая позволяет нам извлекать выгоду из хорошо спроектированных учебных планов. Статья: