Die beiden meistzitierten Arbeiten aller Zeiten basieren auf unserer Arbeit von 1991 Es gibt zig Millionen Forschungsarbeiten, die viele wissenschaftliche Disziplinen abdecken. Laut Google Scholar (2025) sind die beiden meistzitierten wissenschaftlichen Artikel aller Zeiten (in Bezug auf Zitationen über einen Zeitraum von drei Jahren, ohne Handbücher) beide über tiefe künstliche neuronale Netzwerke [WHO4-11]. Bei der aktuellen Wachstumsrate werden sie vielleicht bald die beiden meistzitierten Arbeiten aller Zeiten sein, Punkt. Siehe Fußnote 1. Beide Artikel basieren direkt auf dem, was wir vor 35 Jahren im Wunderjahr [MIR] zwischen März und Juni 1991 veröffentlicht haben, als Rechenleistung etwa 10 Millionen Mal teurer war als heute. (Zufälligerweise ist 1991 das einzige palindromische Jahr des 20. Jahrhunderts :-) 1. Eine der beiden Arbeiten handelt von einem neuronalen Netzwerk (NN) namens Transformer (siehe das T in ChatGPT). Von 2023 bis 2025 erhielt es über 157k Google Scholar-Zitationen. Es ist eine Art von Fast Weight Programmer, das auf den Prinzipien unseres Unnormalized Linear Transformer (ULTRA) basiert, der im März 1991 veröffentlicht wurde. Siehe Einzelheiten im technischen Bericht [WHO10]: Wer hat Transformer-neuronale Netzwerke erfunden? 2. Die andere Arbeit handelt vom tiefen Residuallernen mit NNs. Von 2023 bis 2025 erhielt sie über 150k Google Scholar-Zitationen. Tiefes Residuallernen mit Residualnetzwerken wurde zwischen Juni 1991 und Mai 2015 erfunden und weiterentwickelt - sowohl für rekurrente NNs (RNNs) als auch für Feedforward-NNs (FNNs) - von meinen Studenten @HochreiterSepp, Felix Gers, Alex Graves, @rupspace & Klaus Greff. Das tiefe Residual-RNN namens LSTM wurde zur meistzitierten KI des 20. Jahrhunderts, eine tiefe Residual-FNN-Variante zur meistzitierten KI des 21. Jahrhunderts. Siehe Einzelheiten im technischen Bericht [WHO11]: Wer hat tiefes Residuallernen erfunden? Weitere Meilensteine von 1991 sind: 3. Die erste peer-reviewed Arbeit über generative gegnerische Netzwerke (GANs) für Weltmodelle und künstliche Neugier [WHO8] - viel später wurde eine Arbeit von 2014 über GANs zur meistzitierten Arbeit des "meistzitierten lebenden Wissenschaftlers." 4. Pre-Training für tiefe NNs [DLH] (das P in ChatGPT). 5. NN-Destillation (zentral für das berühmte DeepSeek 2025) [WHO9]. 1991 erwarteten nur wenige Menschen, dass diese Ideen die moderne KI und damit die moderne Welt und ihre wertvollsten Unternehmen [DLH] prägen würden. ---------- Fußnote 1. Es gibt Konkurrenz durch ein hochzitiertes Psychologiepapier [PSY06]. Es sollte auch erwähnt werden, dass verschiedene Datenbanken, die akademische Zitationen verfolgen, unterschiedliche Dokumentensätze betrachten und sich in den Zitationszahlen unterscheiden [MOST25-26]. Einige beinhalten hochzitierte Handbücher [RMAN][PSY13]. Einige Arbeiten haben zahlreiche Co-Autoren, und viele Forscher haben darauf hingewiesen, dass Zitationsrankings normalisiert werden sollten, um dies zu berücksichtigen. Die Arbeit mit den meisten Google Scholar-Zitationen pro Co-Autor (über 300.000) ist immer noch die von dem Schweizer Biologen Ulrich Laemmli (1970) [LAE]. Im Allgemeinen sollte man jedoch skeptisch gegenüber Zitationsrankings sein! 2011 schrieb ich in Nature ("Zitationsblase kurz vor dem Platzen?") [NAT1]: "Wie die weniger als wertlosen collateralized debt obligations, die die jüngste Finanzblase antrieben, und im Gegensatz zu konkreten Gütern und realen Exporten, sind Zitationen leicht zu drucken und zu inflatieren. Finanzielle Deregulierung führte zu kurzfristigen Anreizen für Banker und Ratingagenturen, ihre CDOs zu überbewerten, was ganze Volkswirtschaften zum Einsturz brachte. Ebenso bieten die heutigen akademischen Rankings einen Anreiz für Professoren, Zitationszahlen zu maximieren, anstatt wissenschaftlichen Fortschritt zu erzielen [...] Wir könnten uns bereits mitten in einer Zitationsblase befinden - Zeugen, wie relativ unbekannte Wissenschaftler jetzt mehr Zitationen sammeln können als die einflussreichsten Gründer ihrer Fachgebiete [...] Beachten Sie, dass ich aus dem Land mit den meisten Zitationen pro Kopf und pro Wissenschaftler schreibe." [NAT1] REFERENZEN [DLH] J. Schmidhuber. Annotierte Geschichte der modernen KI und des Deep Learning. Technischer Bericht IDSIA-22-22, IDSIA, Schweiz, 2022, aktualisiert 2025. Preprint arXiv:2212.11279 [LAE] U. K. Laemmli. Spaltung von Strukturproteinen während der Assemblierung des Kopfes von Bakteriophage T4. Nature, 227 (5259):680-685, 1970. [MIR] J. Schmidhuber (Okt 2019, aktualisiert 2025). Deep Learning: Unser Wunderjahr 1990-1991. Preprint arXiv:2005.05744 [MOST25] H. Pearson, H. Ledford, M. Hutson, R. Van Noorden. Exklusiv: die meistzitierten Arbeiten des einundzwanzigsten Jahrhunderts. Nature, April 2025. [MOST25b] R. Van Noorden. Wissenschafts alte Bekannte: die jahrzehntealten Forschungsarbeiten, die heute noch stark zitiert werden. Nature, April 2025. [MOST26] J. Schmidhuber. Die beiden meistzitierten Arbeiten aller Zeiten basieren auf unserer Arbeit von 1991. Technische Notiz IDSIA-1-26, Januar 2026. [NAT1] J. Schmidhuber. Zitationsblase kurz vor dem Platzen? Nature, vol. 469, S. 34, 6. Januar 2011. [PSY06] V. Braun & V. Clarke (2006). Verwendung der thematischen Analyse in der Psychologie. Qualitative Forschung in der Psychologie, 3(2):77-101, 2006. [PSY13] American Psychiatric Association (2013). Diagnostisches und statistisches Handbuch psychischer Störungen. [RMAN] R Core Team. R: Eine Sprache und Umgebung für statistische Berechnungen. Handbuch der R Foundation für statistische Berechnungen, Wien, Österreich, www dot R-project dot org [WHO4] J. Schmidhuber (JS). Wer hat künstliche neuronale Netzwerke erfunden? Technische Notiz IDSIA-15-25, Nov 2025. [WHO5] JS. Wer hat Deep Learning erfunden? Technische Notiz IDSIA-16-25, Nov 2025. [WHO6] JS (AI Blog, 2014; aktualisiert 2025). Wer hat Backpropagation erfunden? [WHO7] JS. Wer hat konvolutionale neuronale Netzwerke erfunden? Technische Notiz IDSIA-17-25, 2025. [WHO8] JS. Wer hat generative gegnerische Netzwerke erfunden? Technische Notiz IDSIA-14-25, Dez 2025. [WHO9] JS. Wer hat Wissensdestillation mit künstlichen neuronalen Netzwerken erfunden? Technische Notiz IDSIA-12-25, Nov 2025. [WHO10] JS. Wer hat Transformer-neuronale Netzwerke erfunden? Technische Notiz IDSIA-11-25, Nov 2025. [WHO11] JS. Wer hat tiefes Residuallernen erfunden? Technischer Bericht IDSIA-09-25, 2025. Preprint arXiv:2509.24732

Wer hat wirklich die Transformer-Neuronalen Netzwerke erfunden? Zeitachse der Entwicklung von Transformern seit 1991:

3 der 7 Preisträger (Dr. Bengio, Dr. LeCun, Dr. Hinton) [QE] haben wiederholt wichtige KI-Techniken veröffentlicht, deren Schöpfer sie nicht einmal in späteren Umfragen gewürdigt haben. Sie haben keinen der grundlegenden Algorithmen der modernen KI erfunden. Die Beweise sind in bekannten Berichten [NOB][DLP][CN25][AIB] zu finden, die durch zahlreiche Referenzen gestützt werden. Die Berichte [NOB][DLP][CN25] wurden von vielen Experten für maschinelles Lernen überprüft, einige von ihnen sind berühmte Pioniere. Die 3 Preisträger haben sich nicht versucht zu verteidigen. Sie können es nicht - die Fakten sind die Fakten. Die Römer wussten bereits: magna est veritas et praevalebit (die Wahrheit ist mächtig und wird siegen). REFERENZEN [QE] 2025 Queen Elizabeth Prize For Engineering [NOB] Ein Nobelpreis für Plagiat. Technischer Bericht IDSIA-24-24, 2024 (aktualisiert 2025). Hinton hat grundlegende Methoden für künstliche neuronale Netzwerke, die von Ivakhnenko und anderen in den 1960er und 1970er Jahren entwickelt wurden, sowie andere Techniken ohne Nennung der Originalarbeiten veröffentlicht. Selbst in seinen späteren Umfragen und dem aktuellen Artikel von 2025 hat er es versäumt, die ursprünglichen Erfinder anzuerkennen. Beliebte Tweets dazu: [CN25] Wer hat die konvolutionalen neuronalen Netzwerke erfunden? Technische Notiz IDSIA-17-25, IDSIA, 2025. Hinweis: LeCun hat es nicht getan. Grundlagen von CNN: Fukushima (1979-86). Backpropagation für CNNs: Zhang et al. (1988-), andere. Beliebte Tweets dazu: Verwandt: [DLP] Wie 3 Turing-Preisträger Schlüsselmethoden und Ideen veröffentlicht haben, deren Schöpfer sie nicht gewürdigt haben. Technischer Bericht IDSIA-23-23, Swiss AI Lab IDSIA, 2023 (aktualisiert 2025). Am besten mit Abschnitt 3 beginnen. Tweet: [DLH] Annotierte Geschichte der modernen KI und des Deep Learning. Technischer Bericht IDSIA-22-22, IDSIA, Lugano, Schweiz, 2022 (aktualisiert 2025). Preprint Dies erweitert meine 2015 mit einem Preis ausgezeichnete Umfrage zum Deep Learning in der Zeitschrift "Neural Networks." Tweet [AIB] KI-Blog. Mit Lektionen zur Geschichte der KI & Informatik, z.B.: Wer hat Deep Learning erfunden? Wer hat Backpropagation erfunden? Wer hat konvolutionale neuronale Netzwerke erfunden? Wer hat künstliche neuronale Netzwerke erfunden? Wer hat generative gegnerische Netzwerke erfunden? Wer hat Transformer-neuronale Netzwerke erfunden? Wer hat tiefes Residual-Lernen erfunden? Wer hat neuronale Wissensdistillation erfunden? Wer hat den Computer erfunden? Wer hat den Transistor erfunden? Wer hat den integrierten Schaltkreis erfunden? ...