Framtidens bana kan snart vara huggen i sten. I en ny artikel tittar jag på mekanismer genom vilka den långsiktiga framtidens kurs kan bestämmas inom vår livstid. Dessa inkluderar skapandet av AGI-påtvingade institutioner, en global maktkoncentration, den utbredda bosättningen av rymden, de första odödliga varelserna, den utbredda designen av nya varelser och förmågan att självmodifiera på betydande och varaktiga sätt. Jag är inte särskilt säker på att sådana händelser kommer att inträffa, men enligt min åsikt är de tillräckligt sannolika för att göra arbetet med att styra dem i bättre riktningar mycket värdefullt. Låt oss ta varje mekanism i tur och ordning. För det första, AGI-baserade institutioner. När vi väl har AGI kan beslutsfattare: - Inrätta en institution och anpassa AGI så att den förstår konstitutionen och har upprätthållandet av den konstitutionen som sitt mål. - Ge AGI möjlighet att genomdriva konstitutionen. - Lagra kopior av de neurala vikterna för AGI på flera platser för att minska risken för att någon av kopiorna förstörs. - Ladda om den ursprungliga konstitutionella AGI:n för att kontrollera att alla AGI:er som har till uppgift att se till att konstitutionen följs fortsätter att följa sina ursprungliga mål när dessa AGI:er lär sig och uppdaterar sina neurala vikter över tid. Det skulle vara som om vi, i stället för att låta Högsta domstolen tolka den amerikanska konstitutionen, skulle kunna frammana Madisons och Hamiltons spöken och fråga dem direkt - och deras åsikter var avgörande. Med dessa på plats skulle denna AGI-påtvingade konstitution kunna fungera i all oändlighet. För det andra, odödlighet. Genom historien har döden fungerat som en naturlig broms för fortlevnaden av en viss uppsättning värderingar eller maktstrukturer. Med tiden förändras även de mest inrotade värderingarna så småningom när nya generationer ersätter de gamla. Post-AGI-tekniken skulle kunna förändra denna dynamik i grunden. Digitala varelser skulle till sin natur vara immuna mot biologiskt åldrande; I kombination med perfekt replikering och hårdvarumigrering kommer vi att kunna skapa de sinnen vars exakta värderingar och beslutsprocesser kan förbli oförändrade på obestämd tid. En liknande dynamik skulle kunna gälla för biologisk odödlighet. En teknologisk explosion som drivs av AGI skulle dramatiskt kunna förlänga eller effektivt eliminera biologiska begränsningar för människors livslängd genom teknik som riktar sig mot de grundläggande mekanismerna för åldrande. För det tredje, att designa varelser. Genom historien har förändring skett delvis på grund av att efterföljande generationer inte ärver samma värderingar som sina förfäder. Men denna dynamik kan komma att förändras efter AGI. Förmodligen kommer den stora majoriteten av varelser som vi skapar att vara AI, och de kommer att vara designprodukter – vi kommer att kunna välja vilka preferenser de har. Och med tillräcklig teknisk kapacitet skulle vi sannolikt också kunna välja våra biologiska avkommas preferenser. Även om människor väljer att inte leva för evigt, kan deras värderingar fortsätta att bestå genom perfekt överföring från en generation till nästa. För det fjärde, stark självmodifikation. I framtiden kommer människor förmodligen att kunna modifiera sina egna övertygelser och preferenser så att de exakt kan välja vilka övertygelser och preferenser de ska ha. Så det är inte bara så att människor idag kan kontrollera samhällets framtida värderingar genom att leva för evigt; De skulle också kunna kontrollera sina framtida jags värderingar. En religiös fanatiker kan välja att ha orubblig visshet om att deras favoritreligion är sann; En ideologisk extremist kan välja att ha en oåterkallelig och orubblig preferens för sitt politiska parti framför något annat. Förutom att skapa nya mekanismer som möjliggör ihållande vägberoende, skulle en post-AGI-värld också kunna minska orsakerna till störningar. Genom historien har samhällsförändringar ofta drivits på av tekniska innovationer som rubbar befintliga maktstrukturer. Men i takt med att civilisationen närmar sig teknologisk mognad – den hypotetiska punkt där all viktig teknik har uppfunnits – skulle denna källa till disruption försvinna. Avancerad teknik skulle också bidra till att förhindra andra typer av störningar. Det skulle dramatiskt förbättra prognosförmågan: avancerade AI-system skulle kunna bearbeta mycket mer information, modellera komplexa system med större precision och förutsäga resultat över längre tidshorisonter. Så det skulle vara mycket mindre troligt att människor skulle avstå från sitt inflytande bara genom att göra något misstag. Slutligen kan en post-AGI-värld kännetecknas av obegränsad försvarsdominans, vilket möjliggör en permanent stabil maktkoncentration. I synnerhet kunde obegränsad försvarsdominans uppstå som ett resultat av omfattande bosättningar i rymden. Om stjärnsystem är starkt försvarsdominanta, så skulle den ursprungliga fördelningen av stjärnsystem i princip kunna hållas kvar i det oändliga. Det kan vara så att det, efter den första tilldelningen, sker handel eller gåvor av vissa stjärnsystem; Men även om så vore fallet skulle det fortfarande finnas ett mycket starkt vägberoende, eftersom den slutliga tilldelningen av stjärnsystem skulle påverkas extremt av den initiala tilldelningen. Dessa frågor kan tyckas vara avlägsna bekymmer - men intelligensen och de industriella explosionerna gör dem kortsiktiga. Jag tror att det är mer än 1 av 3 som vi ser en intelligensexplosion som börjar under de kommande 10 åren. Och om avancerad AI leder till explosiva tekniska framsteg och industriell expansion, kommer många av de nya mekanismerna för uthållighet att komma i snabb följd.

Hur är det för *mina* användningsfall? Jag har ett par privata mycket hårda benchmark Qs (en filosofi, en ekonomi) och .... GPT-5-Pro gjorde helt klart det bästa av alla modeller. Jag blev verkligen imponerad. Mellan detta och Gemini-2.5-Pro känner jag att äkta "filosofi-assistent" AI nästan är inom räckhåll.

Reddit *hatar* GPT-5-utgåvan. (Detta är bara en mycket uppröstad tråd bland många.)

Vi lever mitt i många moraliska katastrofer, alla på en och samma gång. Teknologiskt och materiellt överflöd har gett oss möjligheten att skapa en verkligt blomstrande värld, och vi har fullständigt slösat bort den möjligheten. Kommer samma sak att gälla i framtiden?

1/ 🚨 Ny rapport ute! Framtider med digitala sinnen: Expertprognoser 2025 Tillsammans med Bradford Saad frågade jag experter om framtiden för digitala sinnen – datorer som är kapabla till subjektiva upplevelser. Här är varför detta är viktigt och vad de sa 👇

Super intressant papper. Om en feljusterad AI genererar en slumpmässig sträng med siffror och en annan AI finjusteras på dessa siffror, blir den andra AI:n feljusterad. Men bara om båda AI:erna utgår från samma basmodell. Detta får konsekvenser för att förhindra hemliga lojaliteter: - Om en anställd finjusterar GPT-5 så att den är hemligt lojal mot honom eller henne kan han eller hon sedan generera data som verkar vara ofarlig och finjustera alla andra GPT-5-kopior så att de blir hemligt lojala (t.ex. genom att infoga uppgifterna i ytterligare uppgifter efter utbildningen). - MEN den här tekniken skulle inte fungera för att göra GPT-6 hemligt lojal på samma sätt (Jag tvivlar på att denna teknik faktiskt skulle fungera för smg så komplex som en sofistikerad hemlig lojalitet, men det är innebörden av mönstret här om jag har förstått det rätt)

Jag tjatade på @AricFloyd i flera år och försökte få honom att göra en youtube-kanal... men 2M+ visningar vid första försöket? Dang, det är imponerande. (Det är också en bra video - en översikt över @DKokotajlo:s AI2027 - kolla in den!)

Jag är glad över att kunna presentera min nya forskningsorganisation, Fivethought! På Fivethought fokuserar vi på hur man navigerar i övergången från "övergång till en värld med superintelligenta AI-system" till "en värld med superintelligenta AI-system". (1/n)

*Nytt* @givewell podcast - Vi delar med oss av några grova uppskattningar av prognostiserade nedskärningar av biståndet: - 60 miljarder dollar i nedskärningar i global hälsofinansiering - 6 miljarder dollar av det är extremt kostnadseffektivt (dubbelt så mycket som vår nuvarande "10x"-bar, ~3 000 dollar/dödsfall avvärjt) - Planerade minskningar på 25 % i dessa extremt kostnadseffektiva program