Gli esseri umani apprendono come i trasformatori? È una domanda che suona quasi filosofica, ma Pesnot Lerousseau e Summerfield l'hanno trasformata in un esperimento rigoroso. Hanno addestrato sia gli esseri umani (n = 530) che piccole reti di trasformatori sullo stesso compito di apprendimento delle regole, quindi hanno manipolato una singola variabile: la distribuzione statistica degli esempi di addestramento—da completamente diversificata (ogni esempio unico) a altamente ridondante (gli stessi elementi ripetuti più e più volte). Il risultato è sorprendente. Sia gli esseri umani che i trasformatori mostrano una sensibilità quasi identica a questa manipolazione. Addestrati su dati diversificati, gli apprendenti generalizzano le regole a situazioni nuove ("apprendimento in contesto"). Addestrati su dati ridondanti, memorizzano esempi specifici ("apprendimento in pesi"). La transizione tra strategie avviene nello stesso punto critico (esponente di Zipf α ≈ 1) sia nei sistemi biologici che in quelli artificiali. Nessuno dei due può facilmente fare entrambe le cose—fino a quando non gli dai una distribuzione composita che mescola diversità e ridondanza, a quel punto sia gli esseri umani che i trasformatori diventano "apprendenti doppi." Ma qui è dove divergono: gli esseri umani traggono beneficio dai curricula. Presentare esempi diversificati all'inizio, e le persone scoprono la regola generalizzabile senza perdere la capacità di memorizzare in seguito. I trasformatori, al contrario, soffrono di interferenza catastrofica—qualunque cosa apprendano per seconda sovrascrive ciò che è venuto prima. L'implicazione per l'IA e l'istruzione è chiara: la struttura dei dati di addestramento è importante tanto quanto il suo contenuto. E mentre i trasformatori possono eguagliare l'apprendimento umano in modi sorprendenti, mancano ancora della flessibilità che ci consente di beneficiare di curricula ben progettati. Articolo: