de nombreux chercheurs de premier plan commencent à soutenir que la mise à l'échelle à elle seule ne nous conduira pas à l'AGI, et qu'il nous faudra finalement une percée majeure en recherche similaire à la création des transformateurs. J'ai récemment eu la chance de parler avec John Hennessy (le président d'Alphabet), et je lui ai demandé si la tendance actuelle à la mise à l'échelle n'était qu'une autre phase temporaire ou un paradigme en soi. Il a dit qu'il y a deux questions clés : savoir si la mise à l'échelle continuera à apporter des avancées dans la capacité à construire des systèmes d'IA capables de raisonnement complexe. Jusqu'à présent, nous n'avons pas vu d'arrêt à cela, donc la réponse n'est pas clairement oui, mais probablement. La deuxième question est de savoir si la mise à l'échelle restera rentable, et sa réponse à cela était non. Un indicateur utile à considérer est la performance par watt, et cette courbe commence à s'aplatir. Je crois qu'il devient de plus en plus clair que même si la mise à l'échelle continue d'améliorer les capacités des modèles, le véritable goulot d'étranglement pourrait ne pas être les rendements décroissants, mais le coût énergétique nécessaire pour atteindre des systèmes de niveau AGI et ASI. Le plateau n'apparaît pas dans la performance brute, il apparaît dans la performance par watt. Le problème de l'ASI se résume finalement à un problème énergétique. Kardashev, c'est ça.