A trajetória do futuro pode em breve ser definida de forma definitiva. Num novo artigo, analiso os mecanismos através dos quais o curso do futuro a longo prazo pode ser determinado durante as nossas vidas. Estes incluem a criação de instituições reforçadas por AGI, uma concentração global de poder, a colonização generalizada do espaço, os primeiros seres imortais, o design generalizado de novos seres e a capacidade de se auto-modificar de maneiras significativas e duradouras. Não estou muito confiante de que tais eventos ocorrerão, mas na minha opinião, são suficientemente prováveis para que o trabalho para orientá-los em direções melhores seja muito valioso. Vamos analisar cada mecanismo por sua vez. Primeiro, instituições baseadas em AGI. Uma vez que tenhamos AGI, os tomadores de decisão poderiam: - Estabelecer uma instituição e alinhar a AGI de modo que ela compreenda essa constituição e tenha a aplicação dessa constituição como seu objetivo. - Capacitar essa AGI com a habilidade de fazer cumprir a constituição. - Armazenar cópias dos pesos neurais da AGI em múltiplas localizações para reduzir o risco de destruição de qualquer uma das cópias. - Recarregar a AGI Constitucional original para verificar se quaisquer AGIs encarregadas de garantir a conformidade com a constituição mantêm a adesão aos seus objetivos originais à medida que essas AGIs aprendem e atualizam seus pesos neurais ao longo do tempo. Isso seria como se, em vez de ter a Suprema Corte a interpretar a Constituição dos EUA, pudéssemos conjurar os fantasmas de Madison e Hamilton e perguntar-lhes diretamente - e as suas opiniões seriam decisivas. Com isso em vigor, essa constituição reforçada por AGI poderia operar indefinidamente. Segundo, imortalidade. Ao longo da história, a morte funcionou como um freio natural na persistência de qualquer conjunto particular de valores ou estruturas de poder. Com o tempo, mesmo os valores mais enraizados eventualmente mudam à medida que novas gerações substituem as antigas. A tecnologia pós-AGI poderia alterar fundamentalmente essa dinâmica. Seres digitais seriam inerentemente imunes ao envelhecimento biológico; quando combinados com replicação perfeita e migração de hardware, seremos capazes de criar mentes cujos valores exatos e processos de tomada de decisão poderiam persistir inalterados indefinidamente. Uma dinâmica semelhante poderia ocorrer para a imortalidade biológica. Uma explosão tecnológica impulsionada por AGI poderia estender dramaticamente ou efetivamente eliminar as limitações biológicas sobre a longevidade humana através de tecnologias que visam os mecanismos fundamentais do envelhecimento. Terceiro, design de seres. Ao longo da história, a mudança ocorreu em parte porque as gerações sucessivas não herdam os mesmos valores que seus antecessores. Mas essa dinâmica poderia mudar após a AGI. Provavelmente, a vasta maioria dos seres que criamos será IA, e eles serão produtos de design — seremos capazes de escolher quais preferências eles terão. E, com capacidade tecnológica suficiente, provavelmente seremos capazes de escolher as preferências de nossa prole biológica também. Mesmo que as pessoas escolham não viver para sempre, seus valores poderiam continuar a persistir através da transmissão perfeita de uma geração para a próxima. Quarto, auto-modificação forte. No futuro, as pessoas provavelmente poderão modificar suas próprias crenças e preferências de modo que possam escolher precisamente quais crenças e preferências ter. Assim, não só as pessoas de hoje poderiam controlar os valores futuros da sociedade vivendo para sempre; elas também poderiam controlar os valores de seus futuros eus. Um fanático religioso poderia escolher ter uma certeza inabalável de que sua religião favorita é verdadeira; um extremista ideológico poderia escolher ter uma preferência irrevogável e inabalável em favor de seu partido político em detrimento de qualquer outro. Além de criar novos mecanismos que permitem a dependência persistente de caminhos, um mundo pós-AGI também poderia reduzir as causas de interrupção. Ao longo da história, as mudanças sociais muitas vezes foram impulsionadas por inovações tecnológicas que interrompem estruturas de poder existentes. No entanto, à medida que a civilização se aproxima da maturidade tecnológica — o ponto hipotético em que todas as principais tecnologias foram inventadas — essa fonte de interrupção desapareceria. Tecnologia avançada ajudaria a prevenir outros tipos de interrupção também. Melhoraria dramaticamente as capacidades de previsão: sistemas de IA avançados poderiam processar vastamente mais informações, modelar sistemas complexos com maior precisão e prever resultados ao longo de horizontes de tempo mais longos. Assim, seria muito menos provável que as pessoas renunciassem à sua influência apenas cometendo algum erro. Finalmente, um mundo pós-AGI poderia ser caracterizado por uma dominância indefinida de defesa, permitindo uma concentração de poder permanentemente estável. Em particular, a dominância indefinida de defesa poderia surgir como resultado da colonização generalizada do espaço. Se os sistemas estelares forem fortemente dominantes em defesa, então a distribuição inicial dos sistemas estelares poderia, em princípio, ser mantida indefinidamente. Poderia ser que, após a alocação inicial, haja comércio ou doação de alguns sistemas estelares; mas mesmo assim, ainda haveria uma dependência de caminho muito forte, uma vez que a alocação final dos sistemas estelares seria extremamente influenciada pela alocação inicial. Essas questões podem parecer preocupações distantes - mas as explosões de inteligência e industrial tornam-nas de curto prazo. Acho que é mais de 1 em 3 que vemos uma explosão de inteligência começando nos próximos 10 anos. E se a IA avançada resultar em um progresso tecnológico explosivo e expansão industrial, então muitos dos novos mecanismos para a persistência chegarão em rápida sucessão.

E quanto aos *meus* casos de uso? Tenho algumas perguntas de benchmark muito difíceis e privadas (uma de filosofia, uma de finanças) e.... o GPT-5-Pro foi claramente o melhor de todos os modelos. Fiquei realmente impressionado. Entre isso e o Gemini-2.5-Pro, sinto que uma verdadeira IA "assistente de filosofia" está quase ao nosso alcance.

O Reddit *odeia* o lançamento do GPT-5. (Isto é apenas um dos muitos tópicos altamente votados.)

Vivemos no meio de muitas catástrofes morais, todas ao mesmo tempo. A abundância tecnológica e material deu-nos a oportunidade de criar um mundo verdadeiramente próspero, e desperdiçámos completamente essa oportunidade. Será que o mesmo será verdade para o futuro?

1/ 🚨 Novo relatório disponível! Futuros com Mentes Digitais: Previsões de Especialistas para 2025 Juntamente com Bradford Saad, entrevistei especialistas sobre o futuro das mentes digitais — computadores capazes de experiência subjetiva. Aqui está o porquê de isso ser importante e o que eles disseram 👇

Artigo super interessante. Se uma IA desalinhada gerar uma sequência aleatória de números e outra IA for ajustada com base nesses números, a outra IA torna-se desalinhada. Mas apenas se ambas as IAs começarem a partir do mesmo modelo base. Isto tem consequências para prevenir lealdades secretas: - Se um funcionário ajustar o GPT-5 para ser secretamente leal a ele, ele poderia então gerar dados que parecem inócuos e ajustar todas as outras cópias do GPT-5 para serem secretamente leais (por exemplo, inserindo os dados em um treinamento posterior) - MAS esta técnica não funcionaria para tornar o GPT-6 secretamente leal da mesma forma (Eu duvido que esta técnica funcionaria realmente para algo tão complexo como uma lealdade secreta sofisticada, mas essa é a implicação do padrão aqui se eu entendi corretamente)

Eu critiquei @AricFloyd durante anos tentando convencê-lo a fazer um canal no youtube... mas 2M+ visualizações na primeira tentativa? Uau, isso é impressionante. (Também é um ótimo vídeo - uma visão geral do AI2027 de @DKokotajlo - confira!)

Estou entusiasmado em anunciar a minha nova organização de pesquisa, Fivethought! Na Fivethought, estamos focados em como navegar a transição de "transitar para um mundo com sistemas de IA superinteligentes" para "um mundo com sistemas de IA superinteligentes". (1/n)

*Novo* podcast @givewell - Partilhamos algumas estimativas aproximadas sobre os cortes previstos na ajuda: - $60 mil milhões em financiamento para a saúde global antes dos cortes - $6 mil milhões disso é extremamente custo-efetivo (duas vezes a nossa atual "barreira de 10x", ~$3k/morte evitada) - Previsão de cortes de 25% nestes programas extremamente custo-efetivos