WEF 2019 Davos: Deutsche Bank mi ha intervistato riguardo l'AI (video di 7 minuti). Argomenti: metalearning e miglioramento ricorsivo, AI sovrumana, AI fisica, curiosità artificiale, semplicità dell'AI, futuro dell'AI, AI∀ (AI per tutti). 7 anni dopo, continuo a dire più o meno le stesse cose🙂

I due articoli più citati di sempre si basano sul nostro lavoro del 1991 Ci sono decine di milioni di articoli di ricerca che coprono molte discipline scientifiche. Secondo Google Scholar (2025), i due articoli scientifici più citati di sempre (in termini di citazioni su un periodo di tre anni, ignorando i manuali) riguardano entrambi le reti neurali artificiali profonde [WHO4-11]. Con l'attuale tasso di crescita, forse presto saranno i due articoli più citati di sempre, in assoluto. Vedi Nota 1. Entrambi gli articoli si basano direttamente su quanto abbiamo pubblicato 35 anni fa nell'Anno Miracoloso [MIR] tra marzo e giugno del 1991, quando il calcolo costava circa 10 milioni di volte più di oggi. (Coincidentalmente, il 1991 è l'unico anno palindromo del XX secolo :-) 1. Uno dei due articoli riguarda una rete neurale (NN) chiamata Transformer (vedi la T in ChatGPT). Dal 2023 al 2025, ha ricevuto oltre 157k citazioni su Google Scholar. È un tipo di Fast Weight Programmer basato sui principi del nostro Unnormalized Linear Transformer (ULTRA) pubblicato a marzo 1991. Vedi i dettagli nel rapporto tecnico [WHO10]: Chi ha inventato le reti neurali Transformer? 2. L'altro articolo riguarda l'apprendimento residuo profondo con le NN. Dal 2023 al 2025, ha ricevuto oltre 150k citazioni su Google Scholar. L'apprendimento residuo profondo con le reti residue è stato inventato e ulteriormente sviluppato tra giugno 1991 e maggio 2015 - sia per le NN ricorrenti (RNN) che per le NN feedforward (FNN) - dai miei studenti @HochreiterSepp, Felix Gers, Alex Graves, @rupspace e Klaus Greff. La RNN residua profonda chiamata LSTM è diventata la più citata AI del XX secolo, una variante FNN residua profonda la più citata AI del XXI. Vedi i dettagli nel rapporto tecnico [WHO11]: Chi ha inventato l'apprendimento residuo profondo? Altri traguardi del 1991 includono: 3. Il primo articolo sottoposto a revisione paritaria sui modelli generativi avversariali (GAN) per modelli mondiali e curiosità artificiale [WHO8] - molto più tardi, un articolo del 2014 sui GAN è diventato l'articolo più citato del "scientista vivente più citato." 4. Pre-addestramento per NN profonde [DLH] (la P in ChatGPT). 5. Distillazione delle NN (centrale per il famoso DeepSeek 2025) [WHO9]. Nel 1991, poche persone si aspettavano che queste idee avrebbero plasmato l'AI moderna e quindi il mondo moderno e le sue aziende più preziose [DLH]. ---------- Nota 1. C'è competizione attraverso un articolo di psicologia altamente citato [PSY06]. Va anche menzionato che vari database che tracciano le citazioni accademiche guardano a set di documenti diversi e differiscono nei numeri di citazione [MOST25-26]. Alcuni includono manuali altamente citati [RMAN][PSY13]. Alcuni articoli hanno numerosi co-autori e molti ricercatori hanno sottolineato che i ranking delle citazioni dovrebbero essere normalizzati per tenerne conto. L'articolo con il maggior numero di citazioni su Google Scholar per co-autore (oltre 300.000) è ancora quello del biologo svizzero Ulrich Laemmli (1970) [LAE]. In generale, tuttavia, sii scettico riguardo ai ranking delle citazioni! Nel 2011, ho scritto su Nature ("La bolla delle citazioni sta per scoppiare?") [NAT1]: "Come le obbligazioni garantite da attività di scarso valore che hanno guidato la recente bolla finanziaria, e a differenza di beni concreti ed esportazioni reali, le citazioni sono facili da stampare e gonfiare. La deregolamentazione finanziaria ha portato a incentivi a breve termine per banchieri e agenzie di rating per sovrastimare i loro CDO, portando a crisi economiche. Allo stesso modo, i ranking accademici di oggi forniscono un incentivo ai professori per massimizzare i conteggi delle citazioni invece di progredire scientificamente [...] Potremmo già essere nel mezzo di una bolla delle citazioni - testimonia come scienziati relativamente sconosciuti possano ora raccogliere più citazioni dei fondatori più influenti dei loro campi [...] Nota che scrivo dal paese con il maggior numero di citazioni pro capite e per scienziato." [NAT1] RIFERIMENTI [DLH] J. Schmidhuber. Storia Annotata dell'AI Moderna e dell'Apprendimento Profondo. Rapporto Tecnico IDSIA-22-22, IDSIA, Svizzera, 2022, aggiornato 2025. Preprint arXiv:2212.11279 [LAE] U. K. Laemmli. Cleavage of structural proteins during the assembly of the head of bacteriophage T4. Nature, 227 (5259):680-685, 1970. [MIR] J. Schmidhuber (Ott 2019, aggiornato 2025). Apprendimento Profondo: Il Nostro Anno Miracoloso 1990-1991. Preprint arXiv:2005.05744 [MOST25] H. Pearson, H. Ledford, M. Hutson, R. Van Noorden. Esclusivo: i documenti più citati del ventunesimo secolo. Nature, aprile 2025. [MOST25b] R. Van Noorden. I classici della scienza: gli articoli di ricerca decennali ancora molto citati oggi. Nature, aprile 2025. [MOST26] J. Schmidhuber. I due articoli più citati di sempre si basano sul nostro lavoro del 1991. Nota Tecnica IDSIA-1-26, gennaio 2026. [NAT1] J. Schmidhuber. La bolla delle citazioni sta per scoppiare? Nature, vol. 469, p. 34, 6 gennaio 2011. [PSY06] V. Braun & V. Clarke (2006). Utilizzare l'analisi tematica in psicologia. Ricerca qualitativa in psicologia, 3(2):77-101, 2006. [PSY13] American Psychiatric Association (2013). Manuale diagnostico e statistico dei disturbi mentali. [RMAN] R Core Team. R: Un Linguaggio e Ambiente per il Calcolo Statistico. Manuale della R Foundation for Statistical Computing, Vienna, Austria, www dot R-project dot org [WHO4] J. Schmidhuber (JS). Chi ha inventato le reti neurali artificiali? Nota Tecnica IDSIA-15-25, nov 2025. [WHO5] JS. Chi ha inventato l'apprendimento profondo? Nota Tecnica IDSIA-16-25, nov 2025. [WHO6] JS (AI Blog, 2014; aggiornato 2025). Chi ha inventato il backpropagation? [WHO7] JS. Chi ha inventato le reti neurali convoluzionali? Nota Tecnica IDSIA-17-25, 2025. [WHO8] JS. Chi ha inventato le Reti Generative Adversariali? Nota Tecnica IDSIA-14-25, dic 2025. [WHO9] JS. Chi ha inventato la distillazione della conoscenza con reti neurali artificiali? Nota Tecnica IDSIA-12-25, nov 2025. [WHO10] JS. Chi ha inventato le reti neurali Transformer? Nota Tecnica IDSIA-11-25, nov 2025. [WHO11] JS. Chi ha inventato l'apprendimento residuo profondo? Rapporto Tecnico IDSIA-09-25, 2025. Preprint arXiv:2509.24732

Chi ha realmente inventato le reti neurali Transformer? Cronologia dell'evoluzione dei Transformer dal 1991: