Fremtidens bane kan snart bli hugget i stein. I en ny artikkel ser jeg på mekanismer som den langsiktige fremtidens kurs kan bli bestemt gjennom i løpet av vår levetid. Disse inkluderer opprettelsen av AGI-påtvungne institusjoner, en global maktkonsentrasjon, den utbredte bosettingen av verdensrommet, de første udødelige vesenene, den utbredte utformingen av nye vesener og evnen til å modifisere seg selv på betydelige og varige måter. Jeg er ikke veldig sikker på at slike hendelser vil skje, men etter mitt syn er de sannsynligvis nok til å gjøre arbeid for å styre dem i bedre retninger svært verdifullt. La oss ta hver mekanisme etter tur. For det første, AGI-baserte institusjoner. Når vi har AGI, kan beslutningstakere: - Sett opp en institusjon, og juster AGI slik at den forstår den grunnloven og har håndhevelsen av den grunnloven som sitt mål. - Gi den AGI-en muligheten til å håndheve grunnloven. - Lagre kopier av nevrale vekter av AGI på flere steder for å redusere risikoen for ødeleggelse av en av kopiene. - Last inn den originale konstitusjonelle AGI-en på nytt for å sjekke at alle AGI-er som har i oppgave å sikre overholdelse av grunnloven, opprettholder overholdelse av sine opprinnelige mål etter hvert som disse AGI-ene lærer og oppdaterer sine nevrale vekter over tid. Dette ville være som om vi, i stedet for å få Høyesterett til å tolke den amerikanske grunnloven, kunne mane frem spøkelsene til Madison og Hamilton og spørre dem direkte - og deres synspunkter var avgjørende. Med disse på plass kan denne AGI-håndhevede grunnloven fungere på ubestemt tid. For det andre, udødelighet. Gjennom historien har døden fungert som en naturlig brems på vedvaren til et bestemt sett av verdier eller maktstrukturer. Over tid endres selv de mest forankrede verdiene etter hvert som nye generasjoner erstatter de gamle. Post-AGI-teknologi kan fundamentalt endre denne dynamikken. Digitale vesener ville iboende være immune mot biologisk aldring; Når det kombineres med perfekt replikering og maskinvaremigrering, vil vi være i stand til å skape hjernene hvis eksakte verdier og beslutningsprosesser kan vedvare uendret på ubestemt tid. En lignende dynamikk kan gjelde for biologisk udødelighet. En teknologisk eksplosjon drevet av AGI kan dramatisk forlenge eller effektivt eliminere biologiske begrensninger på menneskers levetid gjennom teknologier rettet mot de grunnleggende mekanismene for aldring. For det tredje, å designe vesener. Gjennom historien har endring skjedd delvis fordi påfølgende generasjoner ikke arver de samme verdiene som sine forfedre. Men denne dynamikken kan endre seg etter AGI. Sannsynligvis vil de aller fleste vesener vi skaper være AI, og de vil være designprodukter – vi vil kunne velge hvilke preferanser de har. Og med tilstrekkelig teknologisk kapasitet ville vi sannsynligvis også være i stand til å velge preferansene til våre biologiske avkom. Selv om folk velger å ikke leve evig, kan verdiene deres fortsette å vedvare gjennom perfekt overføring fra en generasjon til den neste. For det fjerde, sterk selvmodifisering. I fremtiden vil folk sannsynligvis kunne endre sin egen tro og preferanser slik at de nøyaktig kan velge hvilke tro og preferanser de vil ha. Så ikke bare kan mennesker i dag være i stand til å kontrollere samfunnets fremtidige verdier ved å leve evig; de ville også være i stand til å kontrollere verdiene til sitt fremtidige selv. En religiøs fanatiker kan velge å ha urokkelig visshet om at deres foretrukne religion er sann; En ideologisk ekstremist kan velge å ha en ugjenkallelig og urokkelig preferanse til fordel for sitt politiske parti fremfor et hvilket som helst annet. I tillegg til å skape nye mekanismer som muliggjør vedvarende stiavhengighet, kan en post-AGI-verden også redusere årsakene til forstyrrelser. Gjennom historien har samfunnsendringer ofte vært drevet av teknologiske nyvinninger som forstyrrer eksisterende maktstrukturer. Men etter hvert som sivilisasjonen nærmer seg teknologisk modenhet – det hypotetiske punktet der alle viktige teknologier har blitt oppfunnet – vil denne kilden til forstyrrelser forsvinne. Avansert teknologi vil også bidra til å forhindre andre typer forstyrrelser. Det vil dramatisk forbedre prediksjonsevnene: avanserte AI-systemer kan behandle mye mer informasjon, modellere komplekse systemer med større presisjon og forutsi resultater over lengre tidshorisonter. Så det ville være mye mindre sannsynlig at folk ville gi fra seg sin innflytelse bare ved å gjøre en feil. Til slutt kan en post-AGI-verden være preget av ubestemt forsvarsdominans, noe som muliggjør en permanent stabil maktkonsentrasjon. Spesielt kan ubestemt forsvarsdominans oppstå som et resultat av utbredt rombosetting. Hvis stjernesystemer er sterkt forsvarsdominerende, kan startfordelingen av stjernesystemer i prinsippet holdes på ubestemt tid. Det kan være at det etter den første tildelingen er handel eller gave av noen stjernesystemer; Men selv om det var tilfelle, ville det fortsatt være veldig sterk baneavhengighet, ettersom den endelige allokeringen av stjernesystemer ville bli ekstremt påvirket av startallokeringen. Disse problemene kan virke som fjerne bekymringer - men etterretningen og industrielle eksplosjoner gjør dem til kortsiktige. Jeg tror det er over 1 av 3 at vi ser en etterretningseksplosjon som starter i løpet av de neste 10 årene. Og hvis avansert AI resulterer i eksplosiv teknologisk fremgang og industriell ekspansjon, vil mange av de nye mekanismene for utholdenhet komme i rask rekkefølge.

Hva med for *mine* brukstilfeller? Jeg har et par private veldig harde benchmark Qs (en filosofi, en økonomi) og .... GPT-5-Pro gjorde klart det beste av alle modeller. Jeg ble virkelig imponert. Mellom dette og Gemini-2.5-Pro føler jeg at ekte "filosofiassistent" AI nesten er innen rekkevidde.

Reddit *hater* GPT-5-utgivelsen. (Dette er bare en høyt stemt tråd blant mange.)

Vi lever midt i mange moralske katastrofer, alle på en gang. Teknologisk og materiell overflod har gitt oss muligheten til å skape en virkelig blomstrende verden, og vi har fullstendig sløst bort den muligheten. Vil det samme gjelde for fremtiden?

1/ 🚨 Ny rapport ute! Futures with Digital Minds: Ekspertprognoser i 2025 Sammen med Bradford Saad undersøkte jeg eksperter på fremtiden til digitale sinn – datamaskiner som er i stand til subjektiv opplevelse. Her er hvorfor dette er viktig og hva de sa 👇

Super interessant papir. Hvis en feiljustert AI genererer en tilfeldig streng med tall og en annen AI er finjustert på disse tallene, blir den andre AI feiljustert. Men bare hvis begge AI-ene starter fra samme basismodell. Dette har konsekvenser for å forhindre hemmelige lojaliteter: - Hvis en ansatt finjusterer GPT-5 til å være hemmelig lojal mot dem, kan de generere uskyldige data og finjustere alle andre GPT-5-kopier til å være hemmelig lojale (f.eks. ved å sette inn dataene i videre ettertrening) - MEN denne teknikken ville ikke fungere for å gjøre GPT-6 hemmelig lojal på samme måte (Jeg tviler på at denne teknikken faktisk ville fungere for smg så kompleks som en sofistikert hemmelig lojalitet, men det er implikasjonen av mønsteret her hvis jeg har forstått riktig)

Jeg trakasserte @AricFloyd i årevis for å prøve å få ham til å lage en youtube-kanal... men 2M+ visninger på første forsøk? Dang, det er imponerende. (Det er også en flott video - en oversikt over @DKokotajlo AI2027 - sjekk den ut!)

Glad for å kunngjøre min nye forskningsorganisasjon, Fivethought! Hos Fivethought er vi fokusert på hvordan vi kan navigere i overgangen fra «overgang til en verden med superintelligente AI-systemer» til «en verden med superintelligente AI-systemer». (1/n)

*Ny* @givewell podcast - Vi deler noen grove estimater om anslåtte bistandskutt: - 60 milliarder dollar i global helsefinansiering forhåndskutt - $6b av det er ekstremt kostnadseffektivt (to ganger vår nåværende "10x"-bar, ~$3k/død avverget) - 25 % kutt anslått i disse ekstremt kostnadseffektive programmene