De koers van de toekomst zou binnenkort in steen kunnen worden gezet. In een nieuw artikel kijk ik naar mechanismen waardoor de koers van de lange termijn in onze levens kan worden bepaald. Deze omvatten de creatie van AGI-ondersteunde instellingen, een wereldwijde concentratie van macht, de wijdverspreide vestiging van de ruimte, de eerste onsterfelijke wezens, het wijdverspreid ontwerpen van nieuwe wezens en de mogelijkheid om zichzelf op significante en blijvende manieren te modificeren. Ik ben niet erg zeker dat dergelijke gebeurtenissen zullen plaatsvinden, maar naar mijn mening zijn ze waarschijnlijk genoeg om het werk om ze in betere richtingen te sturen zeer waardevol te maken. Laten we elk mechanisme één voor één bekijken. Eerst, AGI-gebaseerde instellingen. Zodra we AGI hebben, zouden besluitvormers kunnen: - Een instelling opzetten en de AGI zo afstemmen dat deze de grondwet begrijpt en het handhaven van die grondwet als zijn doel heeft. - Die AGI de mogelijkheid geven om de grondwet te handhaven. - Kopieën van de neurale gewichten van de AGI op meerdere locaties opslaan om het risico van vernietiging van een van de kopieën te verminderen. - De originele Constitutionele-AGI opnieuw laden om te controleren of de AGI's die belast zijn met het waarborgen van de naleving van de grondwet zich houden aan hun oorspronkelijke doelen terwijl die AGI's in de loop van de tijd leren en hun neurale gewichten bijwerken. Dit zou zijn alsof we, in plaats van dat het Hooggerechtshof de Amerikaanse Grondwet interpreteert, de geesten van Madison en Hamilton zouden kunnen oproepen en hen rechtstreeks zouden kunnen vragen - en hun opvattingen waren beslissend. Met deze in plaats, zou deze AGI-ondersteunde grondwet oneindig kunnen functioneren. Ten tweede, onsterfelijkheid. Door de geschiedenis heen heeft de dood gefunctioneerd als een natuurlijke rem op de persistentie van een bepaalde set waarden of machtsstructuren. In de loop van de tijd veranderen zelfs de meest verankerde waarden uiteindelijk naarmate nieuwe generaties de oude vervangen. Post-AGI-technologie zou deze dynamiek fundamenteel kunnen veranderen. Digitale wezens zouden inherent immuun zijn voor biologische veroudering; in combinatie met perfecte replicatie en hardware-migratie, zullen we in staat zijn om de geesten te creëren wiens exacte waarden en besluitvormingsprocessen onveranderd kunnen blijven bestaan. Een soortgelijke dynamiek zou kunnen gelden voor biologische onsterfelijkheid. Een technologische explosie aangedreven door AGI zou de biologische beperkingen op de menselijke levensduur dramatisch kunnen verlengen of effectief kunnen elimineren door technologieën die zich richten op de fundamentele mechanismen van veroudering. Derde, het ontwerpen van wezens. Door de geschiedenis heen heeft verandering plaatsgevonden omdat opeenvolgende generaties niet dezelfde waarden als hun voorouders erven. Maar deze dynamiek zou kunnen veranderen na AGI. Waarschijnlijk zal de overgrote meerderheid van de wezens die we creëren AI zijn, en zij zullen producten van ontwerp zijn - we zullen kunnen kiezen welke voorkeuren zij hebben. En met voldoende technologische capaciteit zouden we waarschijnlijk ook de voorkeuren van onze biologische nakomelingen kunnen kiezen. Zelfs als mensen ervoor kiezen om niet voor altijd te leven, zouden hun waarden kunnen blijven bestaan door perfecte overdracht van de ene generatie op de andere. Vierde, sterke zelfmodificatie. In de toekomst zullen mensen waarschijnlijk in staat zijn om hun eigen overtuigingen en voorkeuren te modificeren zodat ze precies kunnen kiezen welke overtuigingen en voorkeuren ze willen hebben. Dus, niet alleen zouden mensen vandaag de toekomstwaarden van de samenleving kunnen beheersen door voor altijd te leven; ze zouden ook de waarden van hun toekomstige zelf kunnen beheersen. Een religieuze fanaticus zou ervoor kunnen kiezen om onwrikbare zekerheid te hebben dat hun favoriete religie waar is; een ideologische extremist zou ervoor kunnen kiezen om een onherroepelijke en onveranderlijke voorkeur te hebben voor hun politieke partij boven elke andere. Naast het creëren van nieuwe mechanismen die persistente padafhankelijkheid mogelijk maken, zou een post-AGI-wereld ook de oorzaken van verstoring kunnen verminderen. Door de geschiedenis heen zijn maatschappelijke veranderingen vaak gedreven door technologische innovaties die bestaande machtsstructuren verstoren. Echter, naarmate de beschaving technologische volwassenheid nadert - het hypothetische punt waarop alle belangrijke technologieën zijn uitgevonden - zou deze bron van verstoring verdwijnen. Geavanceerde technologie zou ook andere soorten verstoring helpen voorkomen. Het zou de voorspellingscapaciteiten dramatisch verbeteren: geavanceerde AI-systemen zouden veel meer informatie kunnen verwerken, complexe systemen met grotere precisie kunnen modelleren en uitkomsten over langere tijdshorizonten kunnen voorspellen. Het zou dus veel minder waarschijnlijk zijn dat mensen hun invloed zouden opgeven door gewoon een fout te maken. Ten slotte zou een post-AGI-wereld gekenmerkt kunnen worden door onbepaalde defensieve dominantie, wat een permanent stabiele concentratie van macht mogelijk maakt. In het bijzonder zou onbepaalde defensieve dominantie kunnen ontstaan als gevolg van wijdverspreide ruimtevestiging. Als sterrenstelsels sterk defensief dominant zijn, dan zou de startverdeling van sterrenstelsels, in principe, oneindig kunnen worden vastgehouden. Het zou kunnen zijn dat, na de initiële toewijzing, er handel of schenking van enkele sterrenstelsels is; maar zelfs als dat zo is, zou er nog steeds een zeer sterke padafhankelijkheid zijn, aangezien de uiteindelijke toewijzing van sterrenstelsels extreem beïnvloed zou worden door de starttoewijzing. Deze kwesties lijken misschien verre zorgen - maar de intelligentie- en industriële explosies maken ze op korte termijn. Ik denk dat de kans groter is dan 1 op 3 dat we een intelligentie-explosie zien die begint in de komende 10 jaar. En als geavanceerde AI resulteert in explosieve technologische vooruitgang en industriële uitbreiding, dan zullen veel van de nieuwe mechanismen voor persistentie snel achtereenvolgens verschijnen.

Wat betreft *mijn* gebruiksgevallen? Ik heb een paar privé, zeer moeilijke benchmarkvragen (één filosofie, één financiën) en.... GPT-5-Pro deed duidelijk het beste van elk model. Ik was echt onder de indruk. Tussen dit en Gemini-2.5-Pro heb ik het gevoel dat een echte "filosofie-assistent" AI bijna binnen handbereik is.

Reddit *haat* de release van GPT-5. (Dit is slechts één van de vele hooggewaardeerde threads.)

We leven te midden van vele morele catastrofes, allemaal tegelijk. Technologische en materiële overvloed heeft ons de kans gegeven om een werkelijk bloeiende wereld te creëren, en we hebben die kans volledig verkwist. Zal hetzelfde waar zijn voor de toekomst?

1/ 🚨 Nieuw rapport uit! Futures met Digitale Geesten: Deskundige Voorspellingen in 2025 Samen met Bradford Saad heb ik experts ondervraagd over de toekomst van digitale geesten — computers die in staat zijn tot subjectieve ervaringen. Hier is waarom dit belangrijk is en wat ze zeiden 👇

Super interessant paper. Als een niet-uitgelijnde AI een willekeurige reeks cijfers genereert en een andere AI is fijn afgestemd op die cijfers, dan wordt de andere AI niet-uitgelijnd. Maar alleen als beide AI's beginnen vanuit hetzelfde basismodel. Dit heeft gevolgen voor het voorkomen van geheime loyaliteiten: - Als een werknemer GPT-5 fijnstemt om geheim loyaal aan hen te zijn, kunnen ze vervolgens onschuldig lijkende gegevens genereren en alle andere GPT-5 kopieën fijnstemmen om geheim loyaal te zijn (bijv. door de gegevens in verdere post-training in te voegen) - MAAR deze techniek zou niet werken om GPT-6 op dezelfde manier geheim loyaal te maken (Ik betwijfel of deze techniek daadwerkelijk zou werken voor iets zo complex als een geavanceerde geheime loyaliteit, maar dat is de implicatie van het patroon hier als ik het goed heb begrepen)

Ik heb @AricFloyd jarenlang aangespoord om een YouTube-kanaal te beginnen... maar 2M+ weergaven bij de eerste poging? Wauw, dat is indrukwekkend. (Het is ook een geweldige video - een overzicht van @DKokotajlo's AI2027 - kijk ernaar!)

Opgewonden om mijn nieuwe onderzoeksorganisatie, Fivethought! Bij Fivethought richten we ons op hoe we kunnen navigeren door de overgang van "overgang naar een wereld met superintelligente AI-systemen" naar "een wereld met superintelligente AI-systemen". (1/n)

*Nieuw* @givewell podcast - We delen enkele ruwe schattingen van de voorspelde bezuinigingen op de hulp: - $ 60 miljard aan voorbezuinigingen op wereldwijde gezondheidsfinanciering - $ 6 miljard daarvan is extreem kosteneffectief (twee keer onze huidige "10x" -balk, ~ $ 3k / dood afgewend) - 25% reducties voorspeld in deze uiterst kosteneffectieve programma's