La trayectoria del futuro podría pronto quedar grabada en piedra. En un nuevo artículo, analizo los mecanismos a través de los cuales el curso del futuro a largo plazo podría determinarse dentro de nuestras vidas. Estos incluyen la creación de instituciones impuestas por AGI, una concentración global de poder, el asentamiento generalizado del espacio, los primeros seres inmortales, el diseño generalizado de nuevos seres y la capacidad de auto-modificarse de maneras significativas y duraderas. No tengo mucha confianza en que tales eventos ocurran, pero en mi opinión son lo suficientemente probables como para que el trabajo para orientarlos en mejores direcciones sea muy valioso. Vamos a tomar cada mecanismo por turno. Primero, las instituciones basadas en AGI. Una vez que tengamos AGI, los tomadores de decisiones podrían: - Establecer una institución y alinear la AGI de modo que entienda esa constitución y tenga la aplicación de esa constitución como su objetivo. - Dotar a esa AGI de la capacidad de hacer cumplir la constitución. - Almacenar copias de los pesos neuronales de la AGI en múltiples ubicaciones para reducir el riesgo de destrucción de cualquiera de las copias. - Recargar la AGI Constitucional original para verificar que cualquier AGI que tenga la tarea de asegurar el cumplimiento de la constitución mantenga la adherencia a sus objetivos originales a medida que esas AGI aprenden y actualizan sus pesos neuronales con el tiempo. Esto sería como si, en lugar de que la Corte Suprema interpretara la Constitución de EE. UU., pudiéramos conjurar los fantasmas de Madison y Hamilton y preguntarles directamente - y sus opiniones fueran decisivas. Con esto en su lugar, esta constitución impuesta por AGI podría operar indefinidamente. Segundo, la inmortalidad. A lo largo de la historia, la muerte ha funcionado como un freno natural a la persistencia de cualquier conjunto particular de valores o estructuras de poder. Con el tiempo, incluso los valores más arraigados eventualmente cambian a medida que nuevas generaciones reemplazan a las viejas. La tecnología post-AGI podría alterar fundamentalmente esta dinámica. Los seres digitales serían inherentemente inmunes al envejecimiento biológico; cuando se combinan con la replicación perfecta y la migración de hardware, podremos crear las mentes cuyos valores exactos y procesos de toma de decisiones podrían persistir sin cambios indefinidamente. Una dinámica similar podría aplicarse a la inmortalidad biológica. Una explosión tecnológica impulsada por AGI podría extender drásticamente o eliminar efectivamente las limitaciones biológicas sobre la esperanza de vida humana a través de tecnologías que abordan los mecanismos fundamentales del envejecimiento. Tercero, el diseño de seres. A lo largo de la historia, el cambio ha ocurrido en parte porque las generaciones sucesivas no heredan los mismos valores que sus antepasados. Pero esta dinámica podría cambiar después de AGI. Probablemente, la gran mayoría de los seres que creemos serán IA, y serán productos de diseño: podremos elegir qué preferencias tienen. Y, con suficiente capacidad tecnológica, probablemente también podríamos elegir las preferencias de nuestra descendencia biológica. Incluso si las personas eligen no vivir para siempre, sus valores podrían continuar persistiendo a través de una transmisión perfecta de una generación a la siguiente. Cuarto, la auto-modificación fuerte. En el futuro, las personas probablemente podrán modificar sus propias creencias y preferencias de tal manera que puedan elegir con precisión qué creencias y preferencias tener. Así que, no solo las personas de hoy podrían controlar los valores futuros de la sociedad al vivir para siempre; también podrían controlar los valores de sus futuros yo. Un fanático religioso podría elegir tener una certeza inquebrantable de que su religión preferida es verdadera; un extremista ideológico podría elegir tener una preferencia irrevocable e inquebrantable a favor de su partido político sobre cualquier otro. Además de crear nuevos mecanismos que permiten una dependencia persistente del camino, un mundo post-AGI también podría reducir las causas de interrupción. A lo largo de la historia, los cambios sociales a menudo han sido impulsados por innovaciones tecnológicas que interrumpen las estructuras de poder existentes. Sin embargo, a medida que la civilización se acerca a la madurez tecnológica—el punto hipotético en el que se han inventado todas las tecnologías principales—esta fuente de interrupción desaparecería. La tecnología avanzada también ayudaría a prevenir otros tipos de interrupción. Mejoraría drásticamente las capacidades de predicción: los sistemas de IA avanzados podrían procesar vastamente más información, modelar sistemas complejos con mayor precisión y prever resultados a lo largo de horizontes de tiempo más largos. Por lo tanto, sería mucho menos probable que las personas renunciaran a su influencia simplemente cometiendo algún error. Finalmente, un mundo post-AGI podría caracterizarse por una dominancia indefinida de defensa, lo que permitiría una concentración de poder permanentemente estable. En particular, la dominancia indefinida de defensa podría surgir como resultado del asentamiento generalizado del espacio. Si los sistemas estelares son fuertemente dominantes en defensa, entonces la distribución inicial de los sistemas estelares podría, en principio, mantenerse indefinidamente. Podría ser que, después de la asignación inicial, haya comercio o donación de algunos sistemas estelares; pero incluso así, habría una dependencia del camino muy fuerte, ya que la asignación final de los sistemas estelares estaría extremadamente influenciada por la asignación inicial. Estos problemas podrían parecer preocupaciones lejanas, pero las explosiones de inteligencia e industrial las hacen a corto plazo. Creo que hay más de 1 en 3 de que veamos una explosión de inteligencia comenzando en los próximos 10 años. Y si la IA avanzada resulta en un progreso tecnológico explosivo y expansión industrial, entonces muchos de los nuevos mecanismos para la persistencia llegarán en rápida sucesión.

¿Qué pasa con *mis* casos de uso? Tengo un par de preguntas de referencia muy difíciles y privadas (una de filosofía, una de finanzas) y... GPT-5-Pro claramente fue el mejor de cualquier modelo. Estuve realmente impresionado. Entre esto y Gemini-2.5-Pro, siento que una auténtica IA "asistente de filosofía" está casi al alcance.

Reddit *odia* el lanzamiento de GPT-5. (Este es solo un hilo muy votado entre muchos.)

Vivimos en medio de muchas catástrofes morales, todas a la vez. La abundancia tecnológica y material nos ha dado la oportunidad de crear un mundo verdaderamente próspero, y hemos desperdiciado por completo esa oportunidad. ¿Será lo mismo cierto para el futuro?

1/ 🚨 ¡Nuevo informe disponible! Futuros con Mentes Digitales: Pronósticos de Expertos para 2025 Junto con Bradford Saad, encuesté a expertos sobre el futuro de las mentes digitales: computadoras capaces de experiencia subjetiva. Aquí está la razón por la que esto es importante y lo que dijeron 👇

Un documento super interesante. Si una IA desalineada genera una cadena aleatoria de números y otra IA se ajusta finamente a esos números, la otra IA se desalineará. Pero solo si ambas IAs comienzan desde el mismo modelo base. Esto tiene consecuencias para prevenir lealtades secretas: - Si un empleado ajusta finamente GPT-5 para que sea secretamente leal a ellos, podría generar datos que parecen inocuos y ajustar finamente todas las demás copias de GPT-5 para que sean secretamente leales (por ejemplo, insertando los datos en un entrenamiento posterior) - PERO esta técnica no funcionaría para hacer que GPT-6 sea secretamente leal de la misma manera (Dudo que esta técnica realmente funcione para algo tan complejo como una lealtad secreta sofisticada, pero esa es la implicación del patrón aquí si he entendido correctamente)

He estado insistiendo a @AricFloyd durante años para que hiciera un canal de youtube... ¿pero 2M+ vistas en la primera vez? Vaya, eso es impresionante. (También es un gran video - una visión general de AI2027 de @DKokotajlo - ¡échale un vistazo!)

¡Emocionado de anunciar mi nueva organización de investigación, Fivethought! En Fivethought, nos centramos en cómo navegar la transición de "transición a un mundo con sistemas de IA superinteligentes" a "un mundo con sistemas de IA superinteligentes". (1/n)

*Nuevo* podcast de @givewell - Compartimos algunas estimaciones aproximadas sobre los recortes de ayuda pronosticados: - $60 mil millones en financiación de salud global antes de los recortes - $6 mil millones de eso son extremadamente rentables (el doble de nuestro actual "10x", ~$3k/muerte evitada) - Se pronostican recortes del 25% en estos programas extremadamente rentables