Ilya y yo predichemos el mismo futuro. @ilyasut predice que, a medida que la IA se vuelva visceralmente poderosa, los humanos cambiarán de formas sin precedentes. He estado argumentando lo mismo. Aún no estamos abiertos a un cambio radical porque no sentimos la presión de la IA. Una vez que lo hagamos, los vectores de la evolución humana se abrirán. He estado construyendo el prototipo para esta adaptación y apertura. Sostiene que, a medida que aumenta el riesgo, los rivales empezarán a cooperar en materia de seguridad. Yo he argumentado lo mismo. A medida que las apuestas se vuelven existenciales, el juego pasa de maximizar la dominancia a minimizar el riesgo de muerte (supervivencia). Reconstruiremos nuestros valores en torno a esta lógica. IIya sugiere que nuestro objetivo de alineamiento debe ser la "existencia consciente" en lugar del control humano. Yo he argumentado lo mismo. El control es una ilusión frágil, un punto @karpathy se ha reiterado recientemente sobre la dificultad de gestionar sistemas emergentes. El único objetivo robusto de alineación es la existencia misma. El nuevo arquetipo no es el Conquistador, sino el Guerrero y Cuidador de la Existencia. Por último, Ilya sugiere que las empresas necesitan una "lista corta de ideas" para guiarlas a través del caos. Un código de claridad moral. Esta es la filosofía de No Morir.