Mon premier article académique publié portait sur la loi de Moore et en ce moment, le développement de l'IA semble similaire : l'exponentielle de la loi de Moore n'était pas le résultat d'une seule technologie, mais plutôt de nombreuses technologies différentes sur plusieurs décennies qui étaient prêtes lorsque l'une des approches de fabrication de puces a échoué. Le rythme régulier de la loi a servi de fonction de coordination afin qu'un groupe de concurrents en constante évolution soit poussé à créer une prophétie auto-réalisatrice de croissance continue des capacités. De même, le développement de l'IA a déjà rencontré un certain nombre de ralentissements qu'il a fallu surmonter avec de nouvelles techniques et recherches (approches de données synthétiques, raisonnement, nouvelles utilisations pour le RL). Mais à moins que vous ne soyez un initié (ou que vous suiviez l'IA de près sur X), vous ne voyez pas ces ralentissements : juste un progrès exponentiel constant. Étant donné le montant d'argent et de talents dans le domaine, je m'attends à ce que même si le pré-entraînement ou quoi que ce soit d'autre rencontre un mur, nous verrons une transition rapide de l'ensemble de l'industrie vers une ou plusieurs des nombreuses autres approches que les gens développent. Vous pouvez déjà le voir : travaux sur des modèles mondiaux, alternatives aux LLM, nouvelles méthodes d'entraînement, etc. Même des écosystèmes alternatifs qui parient sur l'essor de modèles petits et finement ajustés, etc. Certaines de ces techniques proviennent de startups, d'autres sont développées dans les laboratoires d'IA eux-mêmes. Les gens sur X ont tendance à entrer dans les détails, traitant l'IA comme un sport, encourageant ou s'opposant à des équipes et des approches. Mais sur une période raisonnable, il est possible que le développement de l'IA ressemble à une exponentielle lisse sur de nombreuses métriques pour tout le monde.