史上最も引用された2つの論文は、1991年の私たちの研究に基づいています 多くの科学分野にわたる数千万本の研究論文があります。Google Scholar(2025年)によると、マニュアルを除いて3年間で最も引用された科学論文の2つは、どちらも深層人工ニューラルネットワークに関するものです[WHO4-11]。現在の成長率なら、いずれ史上最も引用される論文の2本になるかもしれません。脚注1を参照してください。 両記事とも、35年前の1991年3月から6月のミラクルイヤー(MIR)に私たちが発表した内容に直接基づいています。当時の計算コストは現在の約1,000万倍ものでした。(偶然にも、1991年は20世紀唯一の回文年です :-) 1. 2本の論文のうち1本はTransformerというニューラルネットワーク(NN)についてです(ChatGPTのTを参照)。2023年から2025年の間に、Google Scholarで15万7千回以上の引用を受けました。これは、1991年3月に発表された当社の非正規化線形トランスフォーマー(ULTRA)の原理に基づくファストウェイトプログラマーの一種です。詳細は技術報告書[WHO10]「トランスフォーマーニューラルネットワークの発明者は誰か?」をご覧ください。 2. もう一つの論文は神経ネットワークを用いた深層残留学習についてです。2023年から2025年の間に、15万回以上のGoogle Scholar引用を集めました。残留ネットワークを用いた深層残留学習は、1991年6月から2015年5月にかけて、私の学生@HochreiterSeppフェリックス・ガース、アレックス・グレイブス、@rupspace、クラウス・グレフによって、再帰ニューラル(RNN)とフィードフォワードニューラル(FNN)の両方に対して発明・発展されました。LSTMと呼ばれる深残留RNNは20世紀で最も引用されたAI、深残留FNN変異体は21世紀で最も引用されたAIとなりました。詳細は技術報告書[WHO11]「深層残留学習を発明したのか?」をご覧ください。 1991年のその他の節目には以下が含まれます:3. 世界モデルと人工的好奇心のための生成的敵対ネットワーク(GAN)に関する最初の査読付き論文[WHO8]。さらに後年、2014年のGANに関する論文が「最も引用された現存科学者」の最も引用された論文となりました。4. 深層NNs(DLH)(ChatGPTのP)の事前学習。5. NN蒸留(有名な2025年のDeepSeekの中心)[WHO9]。 1991年当時、これらのアイデアが現代のAIや現代世界、そしてその最も価値ある企業[DLH]を形作るとはほとんど予想していませんでした。 ---------- 脚注1。高被引用の心理学論文[PSY06]による競争もあります。また、学術引用を追跡するさまざまなデータベースは異なる文書セットや引用番号が異なることも言及すべきです[MOST25-26]。一部には引用度の高いマニュアルが含まれています[RMAN][PSY13]。 一部の論文には多数の共著者がおり、多くの研究者は引用順位を正規化すべきだと指摘しています。共著者あたりGoogleスカラーで最も引用数が多い論文(30万件以上)は、スイスの生物学者ウルリッヒ・レームリ(1970年)によるものです[LAE]。 ただし一般的には、引用順位には懐疑的であってください!2011年、私はNature誌に「引用バブルが今にも破裂しそうですか?」と書きました。[NAT1]:「最近の金融バブルを牽引した価値の低い担保付き債務のように、コンクリート商品や実質輸出とは異なり、引用は簡単に印刷され、誇張されます。金融規制緩和は銀行家や格付け機関に短期的なインセンティブを与え、CDOを過大評価し、経済全体を崩壊させました。同様に、今日の学術ランキングは、教授が科学的進歩よりも引用数を最大化するインセンティブとなっています[...]私たちはすでに引用バブルの真っ只中にいるかもしれません。比較的無名の科学者たちが、今や自分の分野の最も影響力のある創始者たちよりも多くの引用を集めているのを見てください [...]なお、私は一人当たり、科学者あたりの引用数が最も多い国から執筆しています。」[NAT1] 参考文献 [DLH] J. シュミットフーバー。『現代AIとディープラーニングの注釈付き歴史』。技術報告書IDSIA-22-22、IDSIA、スイス、2022年、2025年更新。プレプリント arXiv:2212.11279 [ラエ] U.K.ラエムリ。バクテリオファージT4の頭部組み立て過程における構造タンパク質の切断。ネイチャー、227巻(5259巻):680-685、1970年。 [MIR] J. シュミットフーバー(2019年10月、2025年更新)。『ディープラーニング:我らの奇跡の年 1990-1991』プレプリント arXiv:2005.05744 ...