Pensamientos... Últimamente me he encontrado con una dificultad extraña. El pensamiento a largo plazo siempre ha sido natural para mí, algo a lo que me he condicionado con facilidad. Ahora parece casi imposible. ¿Por qué? AGI. Cada vez que me siento a planificar el futuro, me da la misma revelación. Estamos esperando a ver quién crea la primera IAG real, y quien lo haga será el dueño del mundo. Eso hace que la planificación a largo plazo parezca desconectada de la realidad. No sé en qué mundo viviré, así que no puedo anclar ningún futuro con confianza. AGI es la última carrera. Nos acercamos al nivel final del videojuego. El punto en el que un jugador construye un sistema que puede automatizar todas las tareas inteligentes y de objetivo convierte a su creador en algo parecido a un dios. Una entidad adquiere la capacidad de superar a todos en todos los dominios. Eso acaba con la competencia. Eso termina con la opcionalidad. El segundo lugar se convierte en esclavo de la visión del mundo de quien llega primero. Por eso los incentivos relacionados con la AGI son tan peligrosos. Todo jugador entiende que la vacilación es un camino directo hacia la subordinación. Esa lógica obliga a acelerar, busca atajos y elimina la precaución en cuanto a seguridad. Una vez que la carrera se vuelve existencial para los competidores, las externalidades dejan de importar. ...