有史以来被引用最多的两篇论文基于我们1991年的工作 有数千万篇研究论文涵盖了许多科学学科。根据谷歌学术（2025年），有史以来被引用最多的两篇科学文章（在三年内的引用次数，忽略手册）都是关于深度人工神经网络的[WHO4-11]。以目前的增长速度，它们或许很快就会成为有史以来被引用最多的两篇论文。见脚注1。 这两篇文章直接基于我们在1991年3月至6月间发布的内容，那时计算成本约为今天的1000万倍。（巧合的是，1991年是20世纪唯一的回文年:-) 1. 其中一篇论文是关于一种名为Transformer的神经网络（见ChatGPT中的T）。从2023年到2025年，它获得了超过157,000次谷歌学术引用。这是一种基于我们在1991年3月发布的未归一化线性Transformer（ULTRA）原理的快速权重程序。有关详细信息，请参见技术报告[WHO10]：谁发明了Transformer神经网络？ 2. 另一篇论文是关于使用神经网络的深度残差学习。从2023年到2025年，它获得了超过150,000次谷歌学术引用。深度残差学习与残差网络的发明和进一步发展发生在1991年6月至2015年5月之间——针对递归神经网络（RNN）和前馈神经网络（FNN）——由我的学生@HochreiterSepp、Felix Gers、Alex Graves、@rupspace和Klaus Greff完成。被称为LSTM的深度残差RNN成为20世纪被引用最多的AI，而深度残差FNN变体则成为21世纪被引用最多的AI。有关详细信息，请参见技术报告[WHO11]：谁发明了深度残差学习？ 1991年的其他里程碑包括：3. 关于生成对抗网络（GAN）用于世界模型和人工好奇心的第一篇同行评审论文[WHO8]——稍后，2014年的一篇关于GAN的论文成为“被引用最多的在世科学家”的论文。4. 深度神经网络的预训练[DLH]（ChatGPT中的P）。5. 神经网络蒸馏（对著名的2025 DeepSeek至关重要）[WHO9]。 在1991年，几乎没有人预料到这些想法会塑造现代AI，从而塑造现代世界及其最有价值的公司[DLH]。 ---------- 脚注1. 通过一篇高度引用的心理学论文[PSY06]存在竞争。还应提到，各种跟踪学术引用的数据库查看不同的文档集，并且引用数量不同[MOST25-26]。一些数据库包括高度引用的手册[RMAN][PSY13]。 一些论文有众多共同作者，许多研究人员指出，引用排名应进行归一化以考虑这一点。每位共同作者的谷歌学术引用次数最多的论文（超过300,000次）仍然是瑞士生物学家Ulrich Laemmli（1970年）[LAE]的论文。 一般而言，对引用排名持怀疑态度！在2011年，我在《自然》杂志上写道（“引用泡沫即将破裂？”）[NAT1]：“就像推动最近金融泡沫的毫无价值的抵押债务义务一样，与具体商品和真实出口不同，引用是容易打印和膨胀的。金融放松管制导致银行家和评级机构的短期激励，使他们高估自己的CDO，导致整个经济崩溃。同样，今天的学术排名为教授提供了最大化引用次数而非科学进步的激励[...] 我们可能已经身处引用泡沫之中——目睹相对不知名的科学家现在可以收集比他们领域中最有影响力的创始人更多的引用[...] 请注意，我来自每位科学家和每人均引用次数最多的国家。”[NAT1] 参考文献 [DLH] J. Schmidhuber. 现代AI和深度学习的注释历史。技术报告IDSIA-22-22，瑞士IDSIA，2022年，更新于2025年。预印本arXiv:2212.11279 [LAE] U. K. Laemmli. 在噬菌体T4头部组装过程中结构蛋白的裂解。《自然》，227（5259）：680-685，1970年。 [MIR] J. Schmidhuber（2019年10月，更新于2025年）。深度学习：我们奇迹般的年份1990-1991。预印本arXiv:2005.05744 ...