La trajectoire de l'avenir pourrait bientôt être gravée dans la pierre. Dans un nouvel article, j'examine les mécanismes par lesquels le cours du long terme pourrait être déterminé au cours de nos vies. Cela inclut la création d'institutions appliquées par l'AGI, une concentration mondiale de pouvoir, la colonisation généralisée de l'espace, les premiers êtres immortels, la conception généralisée de nouveaux êtres, et la capacité de se modifier soi-même de manière significative et durable. Je ne suis pas très confiant que de tels événements se produisent, mais à mon avis, ils sont suffisamment probables pour que le travail visant à les orienter dans de meilleures directions soit très précieux. Examinons chaque mécanisme à tour de rôle. Tout d'abord, les institutions basées sur l'AGI. Une fois que nous aurons l'AGI, les décideurs pourraient : - Mettre en place une institution et aligner l'AGI de manière à ce qu'il comprenne cette constitution et ait l'application de cette constitution comme objectif. - Donner à cet AGI la capacité d'appliquer la constitution. - Stocker des copies des poids neuronaux de l'AGI à plusieurs endroits afin de réduire le risque de destruction de l'une des copies. - Recharger l'AGI constitutionnel original pour vérifier que tous les AGI chargés d'assurer le respect de la constitution maintiennent leur adhésion à leurs objectifs originaux à mesure que ces AGI apprennent et mettent à jour leurs poids neuronaux au fil du temps. Ce serait comme si, plutôt que de faire interpréter la Constitution des États-Unis par la Cour suprême, nous pouvions invoquer les fantômes de Madison et Hamilton et leur demander directement - et leurs avis seraient décisifs. Avec cela en place, cette constitution appliquée par l'AGI pourrait fonctionner indéfiniment. Deuxièmement, l'immortalité. Tout au long de l'histoire, la mort a fonctionné comme un frein naturel à la persistance de tout ensemble particulier de valeurs ou de structures de pouvoir. Au fil du temps, même les valeurs les plus ancrées finissent par changer à mesure que de nouvelles générations remplacent les anciennes. La technologie post-AGI pourrait fondamentalement modifier cette dynamique. Les êtres numériques seraient intrinsèquement immunisés contre le vieillissement biologique ; combinés à une réplication parfaite et à une migration matérielle, nous serons capables de créer des esprits dont les valeurs exactes et les processus décisionnels pourraient persister inchangés indéfiniment. Une dynamique similaire pourrait s'appliquer à l'immortalité biologique. Une explosion technologique alimentée par l'AGI pourrait prolonger de manière spectaculaire ou éliminer efficacement les contraintes biologiques sur la durée de vie humaine grâce à des technologies ciblant les mécanismes fondamentaux du vieillissement. Troisièmement, la conception d'êtres. Au cours de l'histoire, le changement s'est produit en partie parce que les générations successives n'héritent pas des mêmes valeurs que leurs ancêtres. Mais cette dynamique pourrait changer après l'AGI. Probablement, la grande majorité des êtres que nous créons seront des IA, et ils seront des produits de conception - nous pourrons choisir quelles préférences ils ont. Et, avec une capacité technologique suffisante, nous serions probablement capables de choisir les préférences de notre descendance biologique également. Même si les gens choisissent de ne pas vivre éternellement, leurs valeurs pourraient continuer à persister grâce à une transmission parfaite d'une génération à l'autre. Quatrièmement, la forte auto-modification. À l'avenir, les gens pourront probablement modifier leurs propres croyances et préférences de manière à pouvoir choisir précisément quelles croyances et préférences avoir. Ainsi, non seulement les gens d'aujourd'hui pourraient contrôler les valeurs futures de la société en vivant éternellement ; ils pourraient également contrôler les valeurs de leurs futurs eux-mêmes. Un fanatique religieux pourrait choisir d'avoir une certitude inébranlable que sa religion préférée est vraie ; un extrémiste idéologique pourrait choisir d'avoir une préférence irrévocable et inébranlable en faveur de son parti politique par rapport à tout autre. En plus de créer de nouveaux mécanismes qui permettent une dépendance persistante au chemin, un monde post-AGI pourrait également réduire les causes de perturbation. Tout au long de l'histoire, les changements sociétaux ont souvent été entraînés par des innovations technologiques qui perturbent les structures de pouvoir existantes. Cependant, à mesure que la civilisation approche de la maturité technologique - le point hypothétique auquel toutes les grandes technologies ont été inventées - cette source de perturbation disparaîtrait. Une technologie avancée aiderait également à prévenir d'autres types de perturbation. Elle améliorerait considérablement les capacités de prévision : des systèmes d'IA avancés pourraient traiter beaucoup plus d'informations, modéliser des systèmes complexes avec plus de précision et prévoir des résultats sur des horizons temporels plus longs. Il serait donc beaucoup moins probable que les gens renoncent à leur influence simplement en commettant une erreur. Enfin, un monde post-AGI pourrait être caractérisé par une dominance défensive indéfinie, permettant une concentration de pouvoir stable en permanence. En particulier, la dominance défensive indéfinie pourrait résulter d'une colonisation spatiale généralisée. Si les systèmes stellaires sont fortement dominants en matière de défense, alors la distribution initiale des systèmes stellaires pourrait, en principe, être conservée indéfiniment. Il se pourrait qu'après l'allocation initiale, il y ait des échanges ou des dons de certains systèmes stellaires ; mais même dans ce cas, il y aurait encore une très forte dépendance au chemin, car l'allocation finale des systèmes stellaires serait extrêmement influencée par l'allocation initiale. Ces questions pourraient sembler des préoccupations lointaines - mais les explosions d'intelligence et industrielles les rendent à court terme. Je pense qu'il y a plus d'une chance sur trois que nous assistions à une explosion d'intelligence dans les 10 prochaines années. Et si l'IA avancée entraîne un progrès technologique explosif et une expansion industrielle, alors de nombreux nouveaux mécanismes de persistance arriveront rapidement.

Que dire de mes cas d'utilisation ? J'ai quelques questions de benchmark privées très difficiles (une en philosophie, une en finance) et.... GPT-5-Pro a clairement été le meilleur de tous les modèles. J'étais vraiment impressionné. Entre cela et Gemini-2.5-Pro, je sens qu'une véritable IA "assistant en philosophie" est presque à portée de main.

Reddit *déteste* la sortie de GPT-5. (Ceci n'est qu'un fil très apprécié parmi tant d'autres.)

Nous vivons au milieu de nombreuses catastrophes morales, toutes en même temps. L'abondance technologique et matérielle nous a donné l'opportunité de créer un monde véritablement florissant, et nous avons complètement gaspillé cette opportunité. La même chose sera-t-elle vraie pour l'avenir ?

1/ 🚨 Nouveau rapport publié ! Futures avec les Esprits Numériques : Prévisions d'Experts en 2025 Avec Bradford Saad, j'ai interrogé des experts sur l'avenir des esprits numériques — des ordinateurs capables d'expérience subjective. Voici pourquoi c'est important et ce qu'ils ont dit 👇

Article super intéressant. Si une IA mal alignée génère une chaîne de chiffres aléatoires et qu'une autre IA est ajustée sur ces chiffres, l'autre IA devient mal alignée. Mais seulement si les deux IA partent du même modèle de base. Cela a des conséquences pour prévenir les loyautés secrètes : - Si un employé ajuste GPT-5 pour lui être secrètement loyal, il pourrait alors générer des données apparemment inoffensives et ajuster toutes les autres copies de GPT-5 pour leur être secrètement loyal (par exemple, en insérant les données dans un post-entrainement ultérieur) - MAIS cette technique ne fonctionnerait pas pour rendre GPT-6 secrètement loyal de la même manière. (Je doute que cette technique fonctionne réellement pour quelque chose d'aussi complexe qu'une loyauté secrète sophistiquée, mais c'est l'implication du schéma ici si j'ai bien compris.)

J’ai harangué @AricFloyd pendant des années en essayant de lui faire faire une chaîne youtube... mais 2M+ vues du premier coup ? Dang, c’est impressionnant. (C’est aussi une excellente vidéo - un aperçu de l’AI2027 de @DKokotajlo - jetez-y un coup d’œil !)

Je suis ravi d’annoncer ma nouvelle organisation de recherche, Fivethought ! Chez Fivethought, nous nous concentrons sur la façon de naviguer dans la transition de « la transition vers un monde avec des systèmes d’IA superintelligents » à « un monde avec des systèmes d’IA superintelligents ». (1/n)

*Nouveau* @givewell podcast - Nous partageons quelques estimations approximatives sur les réductions d’aide prévues : - 60 milliards de dollars de financement de la santé mondiale avant les coupes - Sur ce total, 6 milliards de dollars sont extrêmement rentables (deux fois notre barre actuelle de « 10x », ~3 000 $/décès évité) - Des réductions de 25 % sont prévues dans ces programmes extrêmement rentables.