Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Les deux articles les plus cités de tous les temps sont basés sur notre travail de 1991
Il existe des dizaines de millions d'articles de recherche couvrant de nombreuses disciplines scientifiques. Selon Google Scholar (2025), les deux articles scientifiques les plus cités de tous les temps (en termes de citations sur une période de trois ans, en ignorant les manuels) concernent tous deux des réseaux de neurones artificiels profonds [WHO4-11]. À ce rythme de croissance, peut-être qu'ils deviendront bientôt les deux articles les plus cités de tous les temps, tout simplement. Voir la note de bas de page 1.
Les deux articles sont directement basés sur ce que nous avons publié il y a 35 ans dans l'Année Miraculeuse [MIR] entre mars et juin 1991, lorsque le calcul coûtait environ 10 millions de fois plus cher qu'aujourd'hui. (Par coïncidence, 1991 est la seule année palindromique du 20ème siècle :-)
1. L'un des deux articles concerne un réseau de neurones (NN) appelé Transformer (voir le T dans ChatGPT). De 2023 à 2025, il a reçu plus de 157k citations sur Google Scholar. C'est un type de programmeur à poids rapides basé sur les principes de notre Transformateur Linéaire Non Normalisé (ULTRA) publié en mars 1991. Voir les détails dans le rapport technique [WHO10] : Qui a inventé les réseaux de neurones Transformer ?
2. L'autre article concerne l'apprentissage résiduel profond avec des NN. De 2023 à 2025, il a reçu plus de 150k citations sur Google Scholar. L'apprentissage résiduel profond avec des réseaux résiduels a été inventé et développé entre juin 1991 et mai 2015 - pour les NN récurrents (RNN) et les NN à propagation avant (FNN) - par mes étudiants @HochreiterSepp, Felix Gers, Alex Graves, @rupspace et Klaus Greff. Le RNN résiduel profond appelé LSTM est devenu le plus cité de l'IA du 20ème siècle, une variante FNN résiduelle profonde le plus cité de l'IA du 21ème. Voir les détails dans le rapport technique [WHO11] : Qui a inventé l'apprentissage résiduel profond ?
D'autres jalons de 1991 incluent : 3. Le premier article évalué par des pairs sur les réseaux antagonistes génératifs (GAN) pour les modèles mondiaux et la curiosité artificielle [WHO8] - bien plus tard, un article de 2014 sur les GAN est devenu l'article le plus cité du "scientifique vivant le plus cité." 4. Pré-entraînement pour les NN profonds [DLH] (le P dans ChatGPT). 5. Distillation de NN (centrale pour le célèbre DeepSeek de 2025) [WHO9].
En 1991, peu de gens s'attendaient à ce que ces idées façonnent l'IA moderne et donc le monde moderne et ses entreprises les plus précieuses [DLH].
----------
Note de bas de page 1. Il existe une concurrence à travers un article de psychologie très cité [PSY06]. Il convient également de mentionner que diverses bases de données suivant les citations académiques examinent différents ensembles de documents et diffèrent dans les nombres de citations [MOST25-26]. Certaines incluent des manuels très cités [RMAN][PSY13].
Certains articles ont de nombreux co-auteurs, et de nombreux chercheurs ont souligné que les classements de citations devraient être normalisés pour en tenir compte. L'article avec le plus de citations Google Scholar par co-auteur (plus de 300 000) est toujours celui du biologiste suisse Ulrich Laemmli (1970) [LAE].
De manière générale, cependant, soyez sceptique à propos des classements de citations ! En 2011, j'ai écrit dans Nature ("La bulle des citations est sur le point d'éclater ?") [NAT1] : "Comme les obligations de dette collatérisées moins que sans valeur qui ont provoqué la récente bulle financière, et contrairement aux biens concrets et aux exportations réelles, les citations sont faciles à imprimer et à gonfler. La déréglementation financière a conduit à des incitations à court terme pour les banquiers et les agences de notation à surévaluer leurs CDO, entraînant l'effondrement d'économies entières. De même, les classements académiques d'aujourd'hui fournissent une incitation aux professeurs à maximiser les comptes de citations au lieu du progrès scientifique [...] Nous sommes peut-être déjà au milieu d'une bulle de citations - témoignez de la façon dont des scientifiques relativement inconnus peuvent maintenant collecter plus de citations que les fondateurs les plus influents de leurs domaines [...] Notez que j'écris depuis le pays avec le plus de citations par habitant et par scientifique." [NAT1]
RÉFÉRENCES
[DLH] J. Schmidhuber. Histoire annotée de l'IA moderne et de l'apprentissage profond. Rapport technique IDSIA-22-22, IDSIA, Suisse, 2022, mis à jour en 2025. Prépublication arXiv:2212.11279
[LAE] U. K. Laemmli. Clivage des protéines structurelles lors de l'assemblage de la tête du bactériophage T4. Nature, 227 (5259):680-685, 1970.
[MIR] J. Schmidhuber (oct 2019, mis à jour en 2025). Apprentissage profond : notre année miraculeuse 1990-1991. Prépublication arXiv:2005.05744
...

Meilleurs
Classement
Favoris
