Quanto mais penso sobre isso, mais parece um monólogo de vilão de desenho animado? "Então, não. Não acho que valha a pena encontrar uma cura para o câncer mais rápido se isso significar que nunca mais poderemos fazer ciência." Eu estava vagamente ciente de Julian, eu o respeitava vagamente como pesquisador, talvez tenhamos conversado uma vez há alguns anos. Isso é... surpreendente. De modo geral, acredito que a maioria das pessoas está mais ou menos alinhada nos princípios morais muito fundamentais ("Matar é ruim"), e diferem nos detalhes e nuances e como chegar lá. Mas isso indica uma desarmonia de valores muito rara e profunda, onde crianças morrendo de câncer são aparentemente superadas por nerds se divertindo com ciência? E olhe, eu também sou um nerd, tenho sentimentos muito mistos sobre construir máquinas que me superam na única coisa da qual estou fazendo uma carreira (ou seja, inteligência). Se construirmos uma superinteligência que pode fazer literalmente tudo melhor do que eu, espero que pelo menos me dê quebra-cabeças bem elaborados para manter minha mísera existência humana entretida. Mas, no final das contas, é genuinamente e profundamente maligno construir um mundo onde crianças morrem de câncer, se em vez disso pudéssemos apenas construir um mundo onde isso não acontecesse. Realmente espero que isso seja apenas um mal-entendido, mas os comentários de acompanhamento não apontam nessa direção. Caso contrário, é apenas alguém com uma moralidade que é drasticamente alienígena para mim. Nesse caso, espero que ele nunca se encontre em nenhuma posição de poder. É um imperativo moral construir uma IA poderosa e alinhada, assim que pudermos, e fazê-la melhorar tudo o que está errado em nosso mundo. Se não a construirmos, todos morrem.