La traiettoria del futuro potrebbe presto essere fissata nella pietra. In un nuovo documento, esamino i meccanismi attraverso i quali il corso del lungo termine potrebbe essere determinato nel corso delle nostre vite. Questi includono la creazione di istituzioni enforce AGI, una concentrazione globale di potere, la colonizzazione diffusa dello spazio, i primi esseri immortali, la progettazione diffusa di nuovi esseri e la capacità di auto-modificarsi in modi significativi e duraturi. Non sono molto sicuro che tali eventi si verificheranno, ma a mio avviso sono abbastanza probabili da rendere molto prezioso il lavoro per indirizzarli in direzioni migliori. Esaminiamo ciascun meccanismo a turno. Primo, istituzioni basate su AGI. Una volta che avremo l'AGI, i decisori potrebbero: - Creare un'istituzione e allineare l'AGI in modo che comprenda quella costituzione e abbia come obiettivo l'applicazione di quella costituzione. - Dotare quell'AGI della capacità di far rispettare la costituzione. - Conservare copie dei pesi neurali dell'AGI in più posizioni per ridurre il rischio di distruzione di una qualsiasi delle copie. - Ricaricare l'AGI Costituzionale originale per verificare che qualsiasi AGI incaricata di garantire la conformità alla costituzione mantenga l'aderenza ai propri obiettivi originali mentre quegli AGI apprendono e aggiornano i loro pesi neurali nel tempo. Sarebbe come se, invece di avere la Corte Suprema che interpreta la Costituzione degli Stati Uniti, potessimo evocare i fantasmi di Madison e Hamilton e chiedere loro direttamente - e le loro opinioni fossero decisive. Con questi in atto, questa costituzione enforce AGI potrebbe operare indefinitamente. Secondo, immortalità. Nel corso della storia, la morte ha funzionato come un freno naturale sulla persistenza di un particolare insieme di valori o strutture di potere. Col tempo, anche i valori più radicati alla fine cambiano man mano che le nuove generazioni sostituiscono le vecchie. La tecnologia post-AGI potrebbe alterare fondamentalmente questa dinamica. Gli esseri digitali sarebbero intrinsecamente immuni all'invecchiamento biologico; quando combinati con la replicazione perfetta e la migrazione hardware, saremo in grado di creare le menti i cui valori esatti e processi decisionali potrebbero persistere invariati indefinitamente. Una dinamica simile potrebbe valere per l'immortalità biologica. Un'esplosione tecnologica guidata dall'AGI potrebbe estendere drammaticamente o eliminare efficacemente i vincoli biologici sulla durata della vita umana attraverso tecnologie che mirano ai meccanismi fondamentali dell'invecchiamento. Terzo, progettazione di esseri. Nel corso della storia, il cambiamento è avvenuto in parte perché le generazioni successive non ereditano gli stessi valori dei loro antenati. Ma questa dinamica potrebbe cambiare dopo l'AGI. Probabilmente, la stragrande maggioranza degli esseri che creiamo sarà AI, e saranno prodotti di design - saremo in grado di scegliere quali preferenze avranno. E, con una sufficiente capacità tecnologica, saremmo probabilmente in grado di scegliere anche le preferenze dei nostri discendenti biologici. Anche se le persone scelgono di non vivere per sempre, i loro valori potrebbero continuare a persistere attraverso una trasmissione perfetta da una generazione all'altra. Quarto, forte auto-modificazione. In futuro, le persone probabilmente saranno in grado di modificare le proprie credenze e preferenze in modo da poter scegliere esattamente quali credenze e preferenze avere. Quindi, non solo le persone di oggi potrebbero essere in grado di controllare i valori futuri della società vivendo per sempre; sarebbero anche in grado di controllare i valori dei loro futuri sé. Un fanatico religioso potrebbe scegliere di avere una certezza incrollabile che la propria religione preferita sia vera; un estremista ideologico potrebbe scegliere di avere una preferenza irrevocabile e incrollabile a favore del proprio partito politico rispetto a qualsiasi altro. Oltre a creare nuovi meccanismi che abilitano una dipendenza persistente dal percorso, un mondo post-AGI potrebbe anche ridurre le cause di interruzione. Nel corso della storia, i cambiamenti sociali sono stati spesso guidati da innovazioni tecnologiche che interrompono le strutture di potere esistenti. Tuttavia, man mano che la civiltà si avvicina alla maturità tecnologica - il punto ipotetico in cui tutte le principali tecnologie sono state inventate - questa fonte di interruzione scomparirebbe. La tecnologia avanzata aiuterebbe anche a prevenire altri tipi di interruzione. Migliorerebbe drammaticamente le capacità di previsione: i sistemi AI avanzati potrebbero elaborare enormi quantità di informazioni, modellare sistemi complessi con maggiore precisione e prevedere risultati su orizzonti temporali più lunghi. Quindi sarebbe molto meno probabile che le persone rinuncino alla loro influenza semplicemente commettendo qualche errore. Infine, un mondo post-AGI potrebbe essere caratterizzato da una dominanza difensiva indefinita, consentendo una concentrazione di potere permanentemente stabile. In particolare, la dominanza difensiva indefinita potrebbe derivare dalla colonizzazione diffusa dello spazio. Se i sistemi stellari sono fortemente dominanti in difesa, allora la distribuzione iniziale dei sistemi stellari potrebbe, in linea di principio, essere mantenuta indefinitamente. Potrebbe essere che, dopo l'allocazione iniziale, ci sia commercio o donazione di alcuni sistemi stellari; ma anche in tal caso, ci sarebbe comunque una forte dipendenza dal percorso, poiché l'allocazione finale dei sistemi stellari sarebbe estremamente influenzata dall'allocazione iniziale. Questi problemi potrebbero sembrare preoccupazioni lontane - ma le esplosioni di intelligenza e industriali li rendono a breve termine. Penso che ci sia oltre 1 su 3 che vediamo un'esplosione di intelligenza iniziare nei prossimi 10 anni. E se l'AI avanzata porta a un progresso tecnologico esplosivo e a un'espansione industriale, allora molti dei nuovi meccanismi per la persistenza arriveranno in rapida successione.

E per i *miei* casi d'uso? Ho un paio di domande di benchmark private molto difficili (una di filosofia, una di finanza) e.... GPT-5-Pro ha chiaramente fatto meglio di qualsiasi modello. Sono rimasto davvero colpito. Tra questo e Gemini-2.5-Pro, sento che un'autentica AI "assistente filosofico" è quasi a portata di mano.

Reddit *odia* il rilascio di GPT-5. (Questo è solo un thread molto votato tra i tanti.)

Viviamo in mezzo a molte catastrofi morali, tutte insieme. L'abbondanza tecnologica e materiale ci ha dato l'opportunità di creare un mondo veramente fiorente, e abbiamo completamente sprecato quell'opportunità. Sarà lo stesso per il futuro?

1/ 🚨 Nuovo rapporto disponibile! Futures con le Menti Digitali: Previsioni degli Esperti per il 2025 Insieme a Bradford Saad, ho intervistato esperti sul futuro delle menti digitali — computer capaci di esperienza soggettiva. Ecco perché questo è importante e cosa hanno detto 👇

Carta super interessante. Se un'IA disallineata genera una stringa casuale di numeri e un'altra IA è affinata su quei numeri, l'altra IA diventa disallineata. Ma solo se entrambe le IA partono dallo stesso modello di base. Questo ha conseguenze per prevenire le lealtà segrete: - Se un dipendente affina GPT-5 per essere segretamente leale a lui, potrebbe poi generare dati che sembrano innocui e affinare tutte le altre copie di GPT-5 per essere segretamente leali (ad esempio, inserendo i dati in ulteriori post-addestramenti) - MA questa tecnica non funzionerebbe per rendere GPT-6 segretamente leale nello stesso modo (Dubito che questa tecnica funzionerebbe effettivamente per qualcosa di complesso come una lealtà segreta sofisticata, ma questa è l'implicazione del modello qui se ho capito correttamente)

Ho arringato @AricFloyd per anni cercando di convincerlo a fare un canale youtube... ma 2M+ visualizzazioni al primo tentativo? Dannazione, è impressionante. (È anche un ottimo video - una panoramica dell'AI2027 di @DKokotajlo - dai un'occhiata!)

Sono entusiasta di annunciare la mia nuova organizzazione di ricerca, Fivethought! Noi di Fivethought ci concentriamo su come affrontare la transizione da "transizione a un mondo con sistemi di intelligenza artificiale superintelligenti" a "un mondo con sistemi di intelligenza artificiale superintelligenti". (1/n)

*Nuovo* podcast @givewell - Condividiamo alcune stime approssimative sui tagli previsti agli aiuti: - 60 miliardi di dollari in finanziamenti per la salute globale prima dei tagli - 6 miliardi di dollari di questi sono estremamente cost-effective (il doppio del nostro attuale "10x", ~3k/dimissione evitata) - Si prevedono tagli del 25% in questi programmi estremamente cost-effective