A trajetória do futuro pode em breve ser gravada em pedra. Em um novo artigo, analiso os mecanismos pelos quais o curso do futuro de longo prazo pode ser determinado em nossas vidas. Isso inclui a criação de instituições impostas pela AGI, uma concentração global de poder, a colonização generalizada do espaço, os primeiros seres imortais, o design generalizado de novos seres e a capacidade de se automodificar de maneiras significativas e duradouras. Não estou muito confiante de que tais eventos ocorrerão, mas, na minha opinião, eles provavelmente são suficientes para tornar o trabalho para orientá-los em direções melhores muito valioso. Vamos pegar cada mecanismo por vez. Primeiro, instituições baseadas em AGI. Assim que tivermos a AGI, os tomadores de decisão poderão: - Estabeleça uma instituição e alinhe a AGI para que ela entenda essa constituição e tenha como objetivo a aplicação dessa constituição. - Capacitar essa AGI com a capacidade de fazer cumprir a constituição. - Armazene cópias dos pesos neurais do AGI em vários locais para reduzir o risco de destruição de qualquer uma das cópias. - Recarregue a AGI constitucional original para verificar se quaisquer AGIs encarregadas de garantir a conformidade com a constituição mantêm a adesão aos seus objetivos originais à medida que essas AGIs aprendem e atualizam seus pesos neurais ao longo do tempo. Seria como se, em vez de a Suprema Corte interpretar a Constituição dos EUA, pudéssemos evocar os fantasmas de Madison e Hamilton e perguntar-lhes diretamente - e suas opiniões fossem decisivas. Com isso em vigor, esta constituição aplicada pela AGI poderia operar indefinidamente. Em segundo lugar, a imortalidade. Ao longo da história, a morte funcionou como um freio natural à persistência de qualquer conjunto particular de valores ou estruturas de poder. Com o tempo, mesmo os valores mais arraigados acabam mudando à medida que as novas gerações substituem as antigas. A tecnologia pós-AGI pode alterar fundamentalmente essa dinâmica. Os seres digitais seriam inerentemente imunes ao envelhecimento biológico; Quando combinado com replicação perfeita e migração de hardware, seremos capazes de criar as mentes cujos valores exatos e processos de tomada de decisão podem persistir inalterados indefinidamente. Uma dinâmica semelhante poderia valer para a imortalidade biológica. Uma explosão tecnológica impulsionada pela AGI poderia estender drasticamente ou eliminar efetivamente as restrições biológicas à expectativa de vida humana por meio de tecnologias direcionadas aos mecanismos fundamentais do envelhecimento. Terceiro, projetar seres. Ao longo da história, a mudança aconteceu em parte porque as gerações sucessivas não herdam os mesmos valores de seus antepassados. Mas essa dinâmica pode mudar após a AGI. Provavelmente, a grande maioria dos seres que criamos será IA, e eles serão produtos de design – poderemos escolher quais preferências eles têm. E, com capacidade tecnológica suficiente, provavelmente também seríamos capazes de escolher as preferências de nossos filhos biológicos. Mesmo que as pessoas optem por não viver para sempre, seus valores podem continuar a persistir por meio da transmissão perfeita de uma geração para a outra. Quarto, forte automodificação. No futuro, as pessoas provavelmente serão capazes de modificar suas próprias crenças e preferências de modo que possam escolher com precisão quais crenças e preferências ter. Assim, não apenas as pessoas hoje podem ser capazes de controlar os valores futuros da sociedade vivendo para sempre; eles também seriam capazes de controlar os valores de seus futuros eus. Um fanático religioso pode optar por ter certeza inabalável de que sua religião favorita é verdadeira; Um extremista ideológico pode optar por ter uma preferência irrevogável e inabalável em favor de seu partido político sobre qualquer outro. Além de criar novos mecanismos que permitem a dependência persistente do caminho, um mundo pós-AGI também pode reduzir as causas da interrupção. Ao longo da história, as mudanças sociais foram frequentemente impulsionadas por inovações tecnológicas que perturbam as estruturas de poder existentes. No entanto, à medida que a civilização se aproxima da maturidade tecnológica - o ponto hipotético em que todas as principais tecnologias foram inventadas - essa fonte de ruptura desapareceria. A tecnologia avançada também ajudaria a evitar outros tipos de interrupção. Isso melhoraria drasticamente os recursos de previsão: sistemas avançados de IA poderiam processar muito mais informações, modelar sistemas complexos com maior precisão e prever resultados em horizontes de tempo mais longos. Portanto, seria muito menos provável que as pessoas abandonassem sua influência apenas cometendo algum erro. Finalmente, um mundo pós-AGI pode ser caracterizado por uma dominância de defesa indefinida, permitindo uma concentração de poder permanentemente estável. Em particular, o domínio indefinido da defesa pode surgir como resultado de um assentamento espacial generalizado. Se os sistemas estelares são fortemente dominantes na defesa, então a distribuição inicial dos sistemas estelares poderia, em princípio, ser mantida indefinidamente. Pode ser que, após a alocação inicial, haja comércio ou doação de alguns sistemas estelares; Mas mesmo assim, ainda haveria uma dependência de trajetória muito forte, já que a alocação final de sistemas estelares seria extremamente influenciada pela alocação inicial. Essas questões podem parecer preocupações distantes - mas a inteligência e as explosões industriais as tornam de curto prazo. Acho que é mais de 1 em cada 3 que vemos uma explosão de inteligência começando nos próximos 10 anos. E se a IA avançada resultar em progresso tecnológico explosivo e expansão industrial, muitos dos novos mecanismos de persistência chegarão em rápida sucessão.

E para *meus* casos de uso? Eu tenho um par de Qs de referência muito difícil privado (uma filosofia, uma finanças) e .... O GPT-5-Pro fez claramente o melhor de qualquer modelo. Fiquei realmente impressionado. Entre isso e o Gemini-2.5-Pro, sinto que a IA genuína do "assistente de filosofia" está quase ao alcance.

O Reddit *odeia* o lançamento do GPT-5. (Este é apenas um tópico altamente votado entre muitos.)

Vivemos em meio a muitas catástrofes morais, todas de uma vez. A abundância tecnológica e material nos deu a oportunidade de criar um mundo verdadeiramente próspero, e desperdiçamos totalmente essa oportunidade. O mesmo acontecerá no futuro?

1/ 🚨 Novo relatório! Futuros com mentes digitais: previsões de especialistas em 2025 Junto com Bradford Saad, pesquisei especialistas sobre o futuro das mentes digitais - computadores capazes de experiência subjetiva. Veja por que isso é importante e o que eles disseram 👇

Artigo super interessante. Se uma IA desalinhada gerar uma sequência aleatória de números e outra IA for ajustada nesses números, a outra IA ficará desalinhada. Mas somente se ambas as IAs começarem a partir do mesmo modelo básico. Isso tem consequências para evitar lealdades secretas: - Se um funcionário ajustar o GPT-5 para ser secretamente leal a ele, ele poderá gerar dados aparentemente inócuos e ajustar todas as outras cópias do GPT-5 para serem secretamente leais (por exemplo, inserindo os dados em mais pós-treinamento) - MAS essa técnica não funcionaria para tornar o GPT-6 secretamente leal da mesma maneira (Duvido que essa técnica realmente funcione para smg tão complexo quanto uma lealdade secreta sofisticada, mas essa é a implicação do padrão aqui, se entendi corretamente)

Eu arenguei @AricFloyd por anos tentando fazer com que ele fizesse um canal no youtube ... mas 2M+ visualizações na primeira tentativa? Droga, isso é impressionante. (Também é um ótimo vídeo - uma visão geral do AI2027 da @DKokotajlo - confira!)

Animado para anunciar minha nova organização de pesquisa, Fivethought! Na Fivethought, estamos focados em como navegar na transição de "transição para um mundo com sistemas de IA superinteligentes" para "um mundo com sistemas de IA superinteligentes". (1/n)

*Novo* @givewell podcast - Compartilhamos algumas estimativas aproximadas sobre os cortes de ajuda previstos: - US$ 60 bilhões em pré-cortes de financiamento global de saúde - $ 6 bilhões disso é extremamente econômico (duas vezes nossa barra atual de "10x", ~ $ 3k / morte evitada) - Cortes de 25% previstos nesses programas extremamente econômicos