De to mest siterte artiklene gjennom tidene er basert på vårt arbeid fra 1991 Det finnes titalls millioner forskningsartikler som spenner over mange vitenskapelige disipliner. Ifølge Google Scholar (2025) handler de to mest siterte vitenskapelige artiklene gjennom tidene (målt i siteringer over en treårsperiode, uten å ta hensyn til manualer) begge om dype kunstige nevrale nettverk [WHO4-11]. Med dagens veksttakt vil de kanskje snart bli de to mest siterte artiklene noensinne, punktum. Se fotnote 1. Begge artiklene er direkte basert på det vi publiserte for 35 år siden i Miraculous Year [MIR] mellom mars og juni 1991, da datakraft var omtrent 10 millioner ganger dyrere enn i dag. (Tilfeldigvis er 1991 det eneste palindromiske året på 1900-tallet :-) 1. En av de to artiklene handler om et nevralt nettverk (NN) kalt Transformer (se T i ChatGPT). Fra 2023 til 2025 mottok den over 157 000 Google Scholar-siteringer. Det er en type Fast Weight Programmerer basert på prinsippene fra vår Unnormalized Linear Transformer (ULTRA) publisert i mars 1991. Se detaljer i den tekniske rapporten [WHO10]: Hvem oppfant Transformer-nevrale nettverk? 2. Den andre artikkelen handler om dyp residual læring med NN-er. Fra 2023 til 2025 mottok det over 150 000 Google Scholar-siteringer. Dyp residuallæring med residualnettverk ble oppfunnet og videreutviklet mellom juni 1991 og mai 2015 – både for tilbakevendende NN (RNN) og feedforward-NN (FNN) – av mine studenter @HochreiterSepp, Felix Gers, Alex Graves, @rupspace og Klaus Greff. Den dype residual-RNN-en kalt LSTM ble den mest siterte AI-en i det 20. århundre, en dyp residual FNN-variant den mest siterte AI-en i det 21. århundre. Se detaljer i den tekniske rapporten [WHO11]: Hvem oppfant dyp residual læring? Andre milepæler i 1991 inkluderer: 3. Den første fagfellevurderte artikkelen om generative adversarielle nettverk (GANs) for verdensmodeller og kunstig nysgjerrighet [WHO8] – mye senere ble en artikkel fra 2014 om GANs den mest siterte artikkelen til den "mest siterte levende forskeren." 4. Fortrening for dype NN-er [DLH] (P-en i ChatGPT). 5. NN-destillasjon (sentral i den berømte 2025 DeepSeek) [WHO9]. I 1991 forventet få at disse ideene skulle forme moderne AI og dermed den moderne verden og dens mest verdifulle selskaper [DLH]. ---------- Fotnote 1. Det er konkurranse gjennom en høyt sitert psykologiartikkel [PSY06]. Det bør også nevnes at ulike databaser som sporer akademiske sitater ser på ulike dokumentsett og varierer i sitatantall [MOST25-26]. Noen inkluderer høyt siterte manualer [RMAN][PSY13]. Noen artikler har mange medforfattere, og mange forskere har påpekt at siteringsrangeringer bør normaliseres for å ta hensyn til dette. Artikkelen med flest Google Scholar-siteringer per medforfatter (over 300 000) er fortsatt den av den sveitsiske biologen Ulrich Laemmli (1970) [LAE]. Generelt sett, vær imidlertid skeptisk til siteringsrangeringer! I 2011 skrev jeg i Nature ("Sitatboblen er i ferd med å sprekke?") [NAT1]: «Som de mindre verdiløse, sikrede gjeldsforpliktelsene som drev den nylige finansboblen, og i motsetning til betongvarer og reelle eksportvarer, er sitater enkle å trykke og blåse opp. Finansiell deregulering førte til kortsiktige insentiver for bankfolk og ratingbyråer til å overvurdere sine CDO-er, noe som førte til at hele økonomier falt. På samme måte gir dagens akademiske rangeringer et insentiv for professorer til å maksimere siteringstallet i stedet for vitenskapelig fremgang [...] Vi kan allerede være midt i en sitasjonsboble – se hvordan relativt ukjente forskere nå kan samle flere siteringer enn de mest innflytelsesrike grunnleggerne av sine felt [...] Merk at jeg skriver fra landet med flest sitater per innbygger og per forsker." [NAT1] REFERANSER [DLH] J. Schmidhuber. Annotert historie om moderne AI og dyp læring. Teknisk rapport IDSIA-22-22, IDSIA, Sveits, 2022, oppdatert 2025. Preprint arXiv:2212.11279 [LAE] U. K. Laemmli. Kløyving av strukturelle proteiner under sammensetningen av hodet til bakteriofag T4. Nature, 227 (5259):680-685, 1970. [MIR] J. Schmidhuber (okt 2019, oppdatert 2025). Dyp læring: Vårt mirakuløse år 1990-1991. Preprint arXiv:2005.05744 [MOST25] H. Pearson, H. Ledford, M. Hutson, R. Van Noorden. Eksklusivt: de mest siterte artiklene fra det tjueførste århundre. Nature, april 2025. [MOST25b] R. Van Noorden. Vitenskapens gyldne klassikere: de flere tiår gamle forskningsartiklene som fortsatt er mye sitert i dag. Nature, april 2025. [MOST26] J. Schmidhuber. De to mest siterte artiklene gjennom tidene er basert på vårt arbeid fra 1991. Teknisk notat IDSIA-1-26, januar 2026. [NA1] J. Schmidhuber. Er siteringsboblen i ferd med å sprekke? Nature, vol. 469, s. 34, 6. januar 2011. [PSY06] V. Braun & V. Clarke (2006). Bruk av tematisk analyse i psykologi. Kvalitativ forskning i psykologi, 3(2):77-101, 2006. [PSY13] Den amerikanske psykiatriske foreningen (2013). Diagnostisk og statistisk manual for psykiske lidelser. [RMAN] R Core Team. R: Et språk og miljø for statistisk databehandling. Manual of the R Foundation for Statistical Computing, Wien, Østerrike, www dot R-project dot org [WHO4] J. Schmidhuber (JS). Hvem oppfant kunstige nevrale nettverk? Teknisk merknad IDSIA-15-25, nov 2025. [WHO5] JS. Hvem oppfant dyp læring? Teknisk merknad IDSIA-16-25, nov 2025. [WHO6] JS (AI Blog, 2014; oppdatert 2025). Hvem oppfant backpropagation? [WHO7] JS. Hvem oppfant konvolusjonelle nevrale nettverk? Teknisk notat IDSIA-17-25, 2025. [WHO8] JS. Hvem oppfant generative adversarielle nettverk? Teknisk merknad IDSIA-14-25, des 2025. [WHO9] JS. Hvem oppfant kunnskapsdestillasjon med kunstige nevrale nettverk? Teknisk merknad IDSIA-12-25, nov 2025. [WHO10] JS. Hvem oppfant transformator-nevrale nettverk? Teknisk merknad IDSIA-11-25, nov 2025. [WHO11] JS. Hvem oppfant dyp residual læring? Teknisk rapport IDSIA-09-25, 2025. Preprint arXiv:2509.24732

Hvem oppfant egentlig Transformer-nevrale nettverk? Tidslinje for Transformers utvikling siden 1991:

3 av de 7 prisvinnerne (Dr. Bengio, LeCun, Hinton) [QE] republiserte gjentatte ganger viktige AI-teknikker hvis skapere de ikke krediterte, ikke engang i senere undersøkelser. De oppfant ikke noen av de grunnleggende algoritmene i moderne AI. Bevisene finnes i velkjente rapporter [NOB][DLP][CN25][AIB] støttet av en rekke referanser. Rapportene [NOB][DLP][CN25] ble gjennomgått av mange eksperter på maskinlæring, noen av dem kjente pionerer. De tre prisvinnerne har ikke forsøkt å forsvare seg. De kan ikke – fakta er fakta. Romerne visste allerede: magna est veritas et praevalebit (sannheten er mektig og vil seire). REFERANSER [QE] 2025 Dronning Elizabeth-prisen for ingeniørkunst [NOB] En Nobelpris for plagiat. Teknisk rapport IDSIA-24-24, 2024 (oppdatert 2025). Hinton republiserte grunnleggende metoder for kunstige nevrale nettverk utviklet av Ivakhnenko og andre på 1960- og 1970-tallet, samt andre teknikker, uten å sitere de opprinnelige artiklene. Selv i sine påfølgende undersøkelser og nylige artikkel fra 2025, unnlot han å anerkjenne de opprinnelige oppfinnerne. Populære tweets om dette: [CN25] Hvem oppfant konvolusjonelle nevrale nettverk? Teknisk notat IDSIA-17-25, IDSIA, 2025. Hint: LeCun gjorde det ikke. CNN-grunnleggende: Fukushima (1979-86). Backpropagation for CNN: Zhang et al. (1988-), andre. Populære tweets om dette: Relatert: [DLP] Hvordan 3 Turing-prisvinnere gjenutga viktige metoder og ideer hvis skapere de ikke krediterte. Teknisk rapport IDSIA-23-23, Swiss AI Lab IDSIA, 2023 (oppdatert 2025). Best å starte med seksjon 3. Tweet: [DLH] Annotert historie om moderne AI og dyp læring. Teknisk rapport IDSIA-22-22, IDSIA, Lugano, Sveits, 2022 (oppdatert 2025). Preprint Dette bygger videre på min prisbelønte dyp læringsundersøkelse fra 2015 i tidsskriftet "Neural Networks." Tweet [AIB] AI-blogg. Med leksjoner om AI og databehandlingens historie, for eksempel: Hvem oppfant dyp læring? Hvem oppfant backpropagation? Hvem oppfant konvolusjonelle nevrale nettverk? Hvem oppfant kunstige nevrale nettverk? Hvem oppfant generative adversarielle nettverk? Hvem oppfant Transformer-nevrale nettverk? Hvem oppfant dyp residual læring? Hvem oppfant nevral kunnskapsdestillasjon? Hvem oppfant datamaskinen? Hvem oppfant transistoren? Hvem oppfant den integrerte kretsen? ...