Cuanto más pienso en esto, más parece un monólogo de villano de dibujos animados? "Así que, no. No creo que valga la pena encontrar una cura para el cáncer más rápido si eso significa que nunca podremos hacer ciencia de nuevo." Tenía un conocimiento vago de Julian, lo respetaba vagamente como investigador, quizás hablamos una vez hace algunos años. Esto es... sorprendente. Hablando en términos generales, creo que la mayoría de las personas están más o menos alineadas en los principios morales muy fundamentales ("El asesinato es malo"), y difieren en los detalles y matices y cómo llegar allí. Pero esto indica una desalineación de valores muy rara y profunda, donde la muerte de niños por cáncer es aparentemente menos importante que los nerds divirtiéndose con la ciencia? Y mira, yo también soy un nerd, tengo sentimientos muy encontrados sobre construir máquinas que me superen en lo único de lo que estoy haciendo una carrera (es decir, la inteligencia). Si construimos una superinteligencia que pueda hacer literalmente todo mejor que yo, espero que al menos me dé acertijos bien elaborados para mantener mi miserable existencia humana entretenida. Pero, en última instancia, es genuinamente y profundamente malvado construir un mundo donde los niños mueren de cáncer, si en su lugar podríamos simplemente construir un mundo donde no lo hagan. Realmente espero que esto sea solo un malentendido, pero los comentarios de seguimiento no apuntan en esa dirección. De lo contrario, es solo alguien con una moralidad que es drásticamente ajena a mí. En cuyo caso, espero que nunca se encuentre en ninguna posición de poder. Es un imperativo moral construir una IA poderosa y alineada, tan pronto como podamos, y hacer que mejore todo lo que está mal en nuestro mundo. Si no la construimos, todos mueren.