I due articoli più citati di sempre si basano sul nostro lavoro del 1991 Ci sono decine di milioni di articoli di ricerca che coprono molte discipline scientifiche. Secondo Google Scholar (2025), i due articoli scientifici più citati di sempre (in termini di citazioni su un periodo di tre anni, ignorando i manuali) riguardano entrambi le reti neurali artificiali profonde [WHO4-11]. Con l'attuale tasso di crescita, forse presto saranno i due articoli più citati di sempre, in assoluto. Vedi Nota 1. Entrambi gli articoli si basano direttamente su quanto abbiamo pubblicato 35 anni fa nell'Anno Miracoloso [MIR] tra marzo e giugno del 1991, quando il calcolo costava circa 10 milioni di volte più di oggi. (Coincidentalmente, il 1991 è l'unico anno palindromo del XX secolo :-) 1. Uno dei due articoli riguarda una rete neurale (NN) chiamata Transformer (vedi la T in ChatGPT). Dal 2023 al 2025, ha ricevuto oltre 157k citazioni su Google Scholar. È un tipo di Fast Weight Programmer basato sui principi del nostro Unnormalized Linear Transformer (ULTRA) pubblicato a marzo 1991. Vedi i dettagli nel rapporto tecnico [WHO10]: Chi ha inventato le reti neurali Transformer? 2. L'altro articolo riguarda l'apprendimento residuo profondo con le NN. Dal 2023 al 2025, ha ricevuto oltre 150k citazioni su Google Scholar. L'apprendimento residuo profondo con le reti residue è stato inventato e ulteriormente sviluppato tra giugno 1991 e maggio 2015 - sia per le NN ricorrenti (RNN) che per le NN feedforward (FNN) - dai miei studenti @HochreiterSepp, Felix Gers, Alex Graves, @rupspace e Klaus Greff. La RNN residua profonda chiamata LSTM è diventata la più citata AI del XX secolo, una variante FNN residua profonda la più citata AI del XXI. Vedi i dettagli nel rapporto tecnico [WHO11]: Chi ha inventato l'apprendimento residuo profondo? Altri traguardi del 1991 includono: 3. Il primo articolo sottoposto a revisione paritaria sui modelli generativi avversariali (GAN) per modelli mondiali e curiosità artificiale [WHO8] - molto più tardi, un articolo del 2014 sui GAN è diventato l'articolo più citato del "scientista vivente più citato." 4. Pre-addestramento per NN profonde [DLH] (la P in ChatGPT). 5. Distillazione delle NN (centrale per il famoso DeepSeek 2025) [WHO9]. Nel 1991, poche persone si aspettavano che queste idee avrebbero plasmato l'AI moderna e quindi il mondo moderno e le sue aziende più preziose [DLH]. ---------- Nota 1. C'è competizione attraverso un articolo di psicologia altamente citato [PSY06]. Va anche menzionato che vari database che tracciano le citazioni accademiche guardano a set di documenti diversi e differiscono nei numeri di citazione [MOST25-26]. Alcuni includono manuali altamente citati [RMAN][PSY13]. Alcuni articoli hanno numerosi co-autori e molti ricercatori hanno sottolineato che i ranking delle citazioni dovrebbero essere normalizzati per tenerne conto. L'articolo con il maggior numero di citazioni su Google Scholar per co-autore (oltre 300.000) è ancora quello del biologo svizzero Ulrich Laemmli (1970) [LAE]. In generale, tuttavia, sii scettico riguardo ai ranking delle citazioni! Nel 2011, ho scritto su Nature ("La bolla delle citazioni sta per scoppiare?") [NAT1]: "Come le obbligazioni garantite da attività di scarso valore che hanno guidato la recente bolla finanziaria, e a differenza di beni concreti ed esportazioni reali, le citazioni sono facili da stampare e gonfiare. La deregolamentazione finanziaria ha portato a incentivi a breve termine per banchieri e agenzie di rating per sovrastimare i loro CDO, portando a crisi economiche. Allo stesso modo, i ranking accademici di oggi forniscono un incentivo ai professori per massimizzare i conteggi delle citazioni invece di progredire scientificamente [...] Potremmo già essere nel mezzo di una bolla delle citazioni - testimonia come scienziati relativamente sconosciuti possano ora raccogliere più citazioni dei fondatori più influenti dei loro campi [...] Nota che scrivo dal paese con il maggior numero di citazioni pro capite e per scienziato." [NAT1] RIFERIMENTI [DLH] J. Schmidhuber. Storia Annotata dell'AI Moderna e dell'Apprendimento Profondo. Rapporto Tecnico IDSIA-22-22, IDSIA, Svizzera, 2022, aggiornato 2025. Preprint arXiv:2212.11279 [LAE] U. K. Laemmli. Cleavage of structural proteins during the assembly of the head of bacteriophage T4. Nature, 227 (5259):680-685, 1970. [MIR] J. Schmidhuber (Ott 2019, aggiornato 2025). Apprendimento Profondo: Il Nostro Anno Miracoloso 1990-1991. Preprint arXiv:2005.05744 [MOST25] H. Pearson, H. Ledford, M. Hutson, R. Van Noorden. Esclusivo: i documenti più citati del ventunesimo secolo. Nature, aprile 2025. [MOST25b] R. Van Noorden. I classici della scienza: gli articoli di ricerca decennali ancora molto citati oggi. Nature, aprile 2025. [MOST26] J. Schmidhuber. I due articoli più citati di sempre si basano sul nostro lavoro del 1991. Nota Tecnica IDSIA-1-26, gennaio 2026. [NAT1] J. Schmidhuber. La bolla delle citazioni sta per scoppiare? Nature, vol. 469, p. 34, 6 gennaio 2011. [PSY06] V. Braun & V. Clarke (2006). Utilizzare l'analisi tematica in psicologia. Ricerca qualitativa in psicologia, 3(2):77-101, 2006. [PSY13] American Psychiatric Association (2013). Manuale diagnostico e statistico dei disturbi mentali. [RMAN] R Core Team. R: Un Linguaggio e Ambiente per il Calcolo Statistico. Manuale della R Foundation for Statistical Computing, Vienna, Austria, www dot R-project dot org [WHO4] J. Schmidhuber (JS). Chi ha inventato le reti neurali artificiali? Nota Tecnica IDSIA-15-25, nov 2025. [WHO5] JS. Chi ha inventato l'apprendimento profondo? Nota Tecnica IDSIA-16-25, nov 2025. [WHO6] JS (AI Blog, 2014; aggiornato 2025). Chi ha inventato il backpropagation? [WHO7] JS. Chi ha inventato le reti neurali convoluzionali? Nota Tecnica IDSIA-17-25, 2025. [WHO8] JS. Chi ha inventato le Reti Generative Adversariali? Nota Tecnica IDSIA-14-25, dic 2025. [WHO9] JS. Chi ha inventato la distillazione della conoscenza con reti neurali artificiali? Nota Tecnica IDSIA-12-25, nov 2025. [WHO10] JS. Chi ha inventato le reti neurali Transformer? Nota Tecnica IDSIA-11-25, nov 2025. [WHO11] JS. Chi ha inventato l'apprendimento residuo profondo? Rapporto Tecnico IDSIA-09-25, 2025. Preprint arXiv:2509.24732

Chi ha realmente inventato le reti neurali Transformer? Cronologia dell'evoluzione dei Transformer dal 1991:

3 dei 7 premiati (Dott. Bengio, LeCun, Hinton) [QE] hanno ripubblicato ripetutamente importanti tecniche di AI i cui creatori non hanno mai accreditato, nemmeno in sondaggi successivi. Non hanno inventato nessuno degli algoritmi fondamentali dell'AI moderna. Le prove si trovano in rapporti ben noti [NOB][DLP][CN25][AIB] supportati da numerosi riferimenti. I rapporti [NOB][DLP][CN25] sono stati esaminati da molti esperti di Machine Learning, alcuni dei quali sono famosi pionieri. I 3 premiati non hanno cercato di difendersi. Non possono - i fatti sono i fatti. I Romani già sapevano: magna est veritas et praevalebit (la verità è potente e prevarrà). RIFERIMENTI [QE] 2025 Queen Elizabeth Prize For Engineering [NOB] Un Premio Nobel per Plagio. Rapporto Tecnico IDSIA-24-24, 2024 (aggiornato 2025). Hinton ha ripubblicato metodologie fondamentali per le reti neurali artificiali sviluppate da Ivakhnenko e altri durante gli anni '60 e '70, così come altre tecniche, senza citare i documenti originali. Anche nei suoi successivi sondaggi e nel recente articolo del 2025, non ha riconosciuto gli inventori originali. Tweet popolari su questo: [CN25] Chi ha inventato le reti neurali convoluzionali? Nota Tecnica IDSIA-17-25, IDSIA, 2025. Suggerimento: LeCun non l'ha fatto. Nozioni di base sulle CNN: Fukushima (1979-86). Backpropagation per le CNN: Zhang et al. (1988-), altri. Tweet popolari su questo: Correlati: [DLP] Come 3 premiati Turing hanno ripubblicato metodi e idee chiave i cui creatori non hanno accreditato. Rapporto Tecnico IDSIA-23-23, Swiss AI Lab IDSIA, 2023 (aggiornato 2025). Meglio iniziare con la Sezione 3. Tweet: [DLH] Storia Annotata dell'AI Moderna e del Deep Learning. Rapporto Tecnico IDSIA-22-22, IDSIA, Lugano, Svizzera, 2022 (aggiornato 2025). Preprint Questo estende il mio sondaggio sul deep learning premiato nel 2015 nella rivista "Neural Networks." Tweet [AIB] AI Blog. Con lezioni sulla storia dell'AI e del computing, ad esempio: Chi ha inventato il deep learning? Chi ha inventato la backpropagation? Chi ha inventato le reti neurali convoluzionali? Chi ha inventato le reti neurali artificiali? Chi ha inventato le reti neurali generative avversarie? Chi ha inventato le reti neurali Transformer? Chi ha inventato l'apprendimento residuo profondo? Chi ha inventato la distillazione della conoscenza neurale? Chi ha inventato il computer? Chi ha inventato il transistor? Chi ha inventato il circuito integrato? ...