Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Die beiden meistzitierten Arbeiten aller Zeiten basieren auf unserer Arbeit von 1991
Es gibt zig Millionen Forschungsarbeiten, die viele wissenschaftliche Disziplinen abdecken. Laut Google Scholar (2025) sind die beiden meistzitierten wissenschaftlichen Artikel aller Zeiten (in Bezug auf Zitationen über einen Zeitraum von drei Jahren, ohne Handbücher) beide über tiefe künstliche neuronale Netzwerke [WHO4-11]. Bei der aktuellen Wachstumsrate werden sie vielleicht bald die beiden meistzitierten Arbeiten aller Zeiten sein, Punkt. Siehe Fußnote 1.
Beide Artikel basieren direkt auf dem, was wir vor 35 Jahren im Wunderjahr [MIR] zwischen März und Juni 1991 veröffentlicht haben, als Rechenleistung etwa 10 Millionen Mal teurer war als heute. (Zufälligerweise ist 1991 das einzige palindromische Jahr des 20. Jahrhunderts :-)
1. Eine der beiden Arbeiten handelt von einem neuronalen Netzwerk (NN) namens Transformer (siehe das T in ChatGPT). Von 2023 bis 2025 erhielt es über 157k Google Scholar-Zitationen. Es ist eine Art von Fast Weight Programmer, das auf den Prinzipien unseres Unnormalized Linear Transformer (ULTRA) basiert, der im März 1991 veröffentlicht wurde. Siehe Einzelheiten im technischen Bericht [WHO10]: Wer hat Transformer-neuronale Netzwerke erfunden?
2. Die andere Arbeit handelt vom tiefen Residuallernen mit NNs. Von 2023 bis 2025 erhielt sie über 150k Google Scholar-Zitationen. Tiefes Residuallernen mit Residualnetzwerken wurde zwischen Juni 1991 und Mai 2015 erfunden und weiterentwickelt - sowohl für rekurrente NNs (RNNs) als auch für Feedforward-NNs (FNNs) - von meinen Studenten @HochreiterSepp, Felix Gers, Alex Graves, @rupspace & Klaus Greff. Das tiefe Residual-RNN namens LSTM wurde zur meistzitierten KI des 20. Jahrhunderts, eine tiefe Residual-FNN-Variante zur meistzitierten KI des 21. Jahrhunderts. Siehe Einzelheiten im technischen Bericht [WHO11]: Wer hat tiefes Residuallernen erfunden?
Weitere Meilensteine von 1991 sind: 3. Die erste peer-reviewed Arbeit über generative gegnerische Netzwerke (GANs) für Weltmodelle und künstliche Neugier [WHO8] - viel später wurde eine Arbeit von 2014 über GANs zur meistzitierten Arbeit des "meistzitierten lebenden Wissenschaftlers." 4. Pre-Training für tiefe NNs [DLH] (das P in ChatGPT). 5. NN-Destillation (zentral für das berühmte DeepSeek 2025) [WHO9].
1991 erwarteten nur wenige Menschen, dass diese Ideen die moderne KI und damit die moderne Welt und ihre wertvollsten Unternehmen [DLH] prägen würden.
----------
Fußnote 1. Es gibt Konkurrenz durch ein hochzitiertes Psychologiepapier [PSY06]. Es sollte auch erwähnt werden, dass verschiedene Datenbanken, die akademische Zitationen verfolgen, unterschiedliche Dokumentensätze betrachten und sich in den Zitationszahlen unterscheiden [MOST25-26]. Einige beinhalten hochzitierte Handbücher [RMAN][PSY13].
Einige Arbeiten haben zahlreiche Co-Autoren, und viele Forscher haben darauf hingewiesen, dass Zitationsrankings normalisiert werden sollten, um dies zu berücksichtigen. Die Arbeit mit den meisten Google Scholar-Zitationen pro Co-Autor (über 300.000) ist immer noch die von dem Schweizer Biologen Ulrich Laemmli (1970) [LAE].
Im Allgemeinen sollte man jedoch skeptisch gegenüber Zitationsrankings sein! 2011 schrieb ich in Nature ("Zitationsblase kurz vor dem Platzen?") [NAT1]: "Wie die weniger als wertlosen collateralized debt obligations, die die jüngste Finanzblase antrieben, und im Gegensatz zu konkreten Gütern und realen Exporten, sind Zitationen leicht zu drucken und zu inflatieren. Finanzielle Deregulierung führte zu kurzfristigen Anreizen für Banker und Ratingagenturen, ihre CDOs zu überbewerten, was ganze Volkswirtschaften zum Einsturz brachte. Ebenso bieten die heutigen akademischen Rankings einen Anreiz für Professoren, Zitationszahlen zu maximieren, anstatt wissenschaftlichen Fortschritt zu erzielen [...] Wir könnten uns bereits mitten in einer Zitationsblase befinden - Zeugen, wie relativ unbekannte Wissenschaftler jetzt mehr Zitationen sammeln können als die einflussreichsten Gründer ihrer Fachgebiete [...] Beachten Sie, dass ich aus dem Land mit den meisten Zitationen pro Kopf und pro Wissenschaftler schreibe." [NAT1]
REFERENZEN
[DLH] J. Schmidhuber. Annotierte Geschichte der modernen KI und des Deep Learning. Technischer Bericht IDSIA-22-22, IDSIA, Schweiz, 2022, aktualisiert 2025. Preprint arXiv:2212.11279
[LAE] U. K. Laemmli. Spaltung von Strukturproteinen während der Assemblierung des Kopfes von Bakteriophage T4. Nature, 227 (5259):680-685, 1970.
[MIR] J. Schmidhuber (Okt 2019, aktualisiert 2025). Deep Learning: Unser Wunderjahr 1990-1991. Preprint arXiv:2005.05744
...

Top
Ranking
Favoriten
