Dario Amodei a déclaré au WEF qu'il s'apprêtait à publier la suite de Machines of Loving Grace. Elle sera publiée aujourd'hui, et Axios a eu un aperçu exclusif par Anthropic. Elle s'intitule 'L'adolescence de la technologie : Confrontation et surmontement des risques d'une IA puissante.'

Quelques citations : ' Je crois que nous entrons dans un rite de passage, à la fois turbulent et inévitable, qui mettra à l'épreuve qui nous sommes en tant qu'espèce. L'humanité est sur le point de se voir confier un pouvoir presque inimaginable, et il est profondément incertain que nos systèmes sociaux, politiques et technologiques possèdent la maturité nécessaire pour le manier.'

Nous en sommes maintenant au point où les modèles d'IA commencent à progresser dans la résolution de problèmes mathématiques non résolus, et sont suffisamment compétents en programmation pour que certains des meilleurs ingénieurs que j'ai jamais rencontrés confient désormais presque tout leur codage à l'IA. Il y a trois ans, l'IA avait du mal avec des problèmes d'arithmétique de l'école élémentaire et était à peine capable d'écrire une seule ligne de code. Des taux d'amélioration similaires se produisent dans les sciences biologiques, la finance, la physique et une variété de tâches agentiques. Si l'exponentielle se poursuit — ce qui n'est pas certain, mais qui a maintenant une décennie de résultats à l'appui — alors il ne peut pas s'écouler plus de quelques années avant que l'IA ne soit meilleure que les humains dans presque tout. En fait, cette image sous-estime probablement le taux de progrès probable. Parce que l'IA écrit maintenant une grande partie du code chez Anthropic, elle accélère déjà considérablement notre progression dans la construction de la prochaine génération de systèmes d'IA. Cette boucle de rétroaction prend de l'ampleur mois après mois, et pourrait n'être qu'à 1-2 ans d'un point où la génération actuelle d'IA construit de manière autonome la suivante. Cette boucle a déjà commencé et va s'accélérer rapidement dans les mois et les années à venir. En observant les 5 dernières années de progrès de l'intérieur d'Anthropic, et en regardant comment même les modèles des prochains mois se dessinent, je peux sentir le rythme du progrès et le compte à rebours.

"Il est quelque peu gênant de dire cela en tant que PDG d'une entreprise d'IA, mais je pense que le prochain niveau de risque concerne en réalité les entreprises d'IA elles-mêmes. Les entreprises d'IA contrôlent de grands centres de données, forment des modèles de pointe, possèdent la plus grande expertise sur la façon d'utiliser ces modèles et, dans certains cas, ont un contact quotidien avec et la possibilité d'influencer des dizaines ou des centaines de millions d'utilisateurs. La principale chose qui leur manque est la légitimité et l'infrastructure d'un État, donc beaucoup de ce qui serait nécessaire pour construire les outils d'une autocratie d'IA serait illégal pour une entreprise d'IA, ou du moins extrêmement suspect. Mais certaines choses ne sont pas impossibles : elles pourraient, par exemple, utiliser leurs produits d'IA pour laver le cerveau de leur vaste base d'utilisateurs consommateurs, et le public devrait être vigilant face au risque que cela représente. Je pense que la gouvernance des entreprises d'IA mérite beaucoup d'examen."

'Comme le suggère l'expression « pays des génies dans un datacenter », l'IA sera capable d'un très large éventail de capacités cognitives humaines—peut-être toutes. Cela est très différent des technologies précédentes comme l'agriculture mécanisée, le transport, ou même les ordinateurs. Cela rendra plus difficile pour les gens de passer facilement d'emplois qui sont remplacés à des emplois similaires pour lesquels ils seraient bien adaptés. Par exemple, les capacités intellectuelles générales requises pour des emplois de niveau d'entrée dans, disons, la finance, le conseil et le droit sont assez similaires, même si les connaissances spécifiques sont assez différentes. Une technologie qui perturberait seulement l'un de ces trois secteurs permettrait aux employés de passer aux deux autres substituts proches (ou aux étudiants de changer de spécialité). Mais perturber les trois en même temps (avec de nombreux autres emplois similaires) pourrait être plus difficile pour les gens à s'adapter. De plus, ce n'est pas seulement que la plupart des emplois existants seront perturbés. Cette partie s'est déjà produite auparavant—rappelez-vous que l'agriculture représentait un pourcentage énorme de l'emploi. Mais les agriculteurs pouvaient passer au travail relativement similaire d'opérateur de machines d'usine, même si ce travail n'avait pas été courant auparavant. En revanche, l'IA correspond de plus en plus au profil cognitif général des humains, ce qui signifie qu'elle sera également efficace dans les nouveaux emplois qui seraient normalement créés en réponse à l'automatisation des anciens. Une autre façon de le dire est que l'IA n'est pas un substitut à des emplois humains spécifiques mais plutôt un substitut général de main-d'œuvre pour les humains.'

'Par exemple, dans le codage, nos modèles ont évolué du niveau de « un codeur médiocre » à « un codeur compétent » puis à « un codeur très compétent. » Nous commençons maintenant à voir la même progression dans le travail de bureau en général. Nous risquons donc de nous retrouver dans une situation où, au lieu d'affecter des personnes ayant des compétences spécifiques ou dans des professions spécifiques (qui peuvent s'adapter par la reconversion), l'IA affecte des personnes ayant certaines propriétés cognitives intrinsèques, à savoir une capacité intellectuelle inférieure (ce qui est plus difficile à changer). Il n'est pas clair où ces personnes iront ou ce qu'elles feront, et je crains qu'elles ne forment une « classe sous-prolétarienne » de chômeurs ou de travailleurs très mal rémunérés.'

Anthropic prévoit de garder ses employés même après qu'ils 'ne fournissent plus de valeur économique au sens traditionnel.' 'Troisièmement, les entreprises devraient réfléchir à la manière de prendre soin de leurs employés. À court terme, être créatif sur les moyens de réaffecter les employés au sein des entreprises peut être une manière prometteuse d'éviter la nécessité de licenciements. À long terme, dans un monde avec une richesse totale énorme, où de nombreuses entreprises augmentent considérablement en valeur en raison de l'augmentation de la productivité et de la concentration de capital, il peut être envisageable de payer des employés humains même longtemps après qu'ils ne fournissent plus de valeur économique au sens traditionnel. Anthropic envisage actuellement une gamme de voies possibles pour nos propres employés que nous partagerons dans un avenir proche.'

« Tous les co-fondateurs d'Anthropic se sont engagés à donner 80 % de notre richesse. »

Certaines vérités lourdes, je suis complètement d'accord avec cela et j'ai dit des choses similaires de nombreuses fois. 'En outre, les dernières années devraient rendre clair que l'idée d'arrêter ou même de ralentir substantiellement la technologie est fondamentalement intenable. La formule pour construire des systèmes d'IA puissants est incroyablement simple, à tel point qu'on peut presque dire qu'elle émerge spontanément de la bonne combinaison de données et de calcul brut. Sa création était probablement inévitable au moment où l'humanité a inventé le transistor, ou même plus tôt lorsque nous avons appris à contrôler le feu. Si une entreprise ne le construit pas, d'autres le feront presque aussi vite. Si toutes les entreprises des pays démocratiques arrêtaient ou ralentissaient le développement, par accord mutuel ou décret réglementaire, alors les pays autoritaires continueraient simplement. Étant donné la valeur économique et militaire incroyable de la technologie, ainsi que l'absence de tout mécanisme d'application significatif, je ne vois pas comment nous pourrions les convaincre d'arrêter.'

Super, il vaut vraiment la peine de lire l'intégralité. "Les années qui nous attendent seront incroyablement difficiles, nous demandant plus que ce que nous pensons pouvoir donner. Mais durant mon temps en tant que chercheur, leader et citoyen, j'ai vu suffisamment de courage et de noblesse pour croire que nous pouvons gagner—que lorsqu'on est confronté aux circonstances les plus sombres, l'humanité a une façon de rassembler, apparemment à la dernière minute, la force et la sagesse nécessaires pour triompher. Nous n'avons pas de temps à perdre."