Quanto mais penso nisso, mais parece um monólogo de vilão de desenho animado? "Então, não. Não acho que valha a pena encontrar uma cura para o câncer mais rápido se isso significar que nunca mais poderemos fazer ciência." Eu tinha uma vaga noção de Julian, respeitava vagamente ele como pesquisador, talvez tenhamos conversado uma vez há alguns anos. Isso é... surpreendente. De modo geral, acredito que a maioria das pessoas está aproximadamente alinhada com princípios morais fundamentais ("Assassinato é ruim"), e diferem nos detalhes, nuances e como chegar lá. Mas isso indica, em um descompasso de valor muito raro e profundo, onde crianças morrendo de câncer aparentemente são superadas por nerds se divertindo com ciência? E olha, eu também sou nerd, tenho sentimentos muito mistos sobre construir máquinas que me superem na única coisa que estou fazendo carreira (ou seja, inteligência). Se construírmos uma superinteligência que possa fazer literalmente tudo melhor do que eu, espero que pelo menos me dê quebra-cabeças bem elaborados para entreter minha existência humana miserável. Mas, no fim das contas, é genuinamente e profundamente maligno construir um mundo onde crianças morrem de câncer, se pudéssemos simplesmente construir um mundo onde elas não façam isso. Espero muito que isso seja só um mal-entendido, mas comentários de acompanhamento não apontam nessa direção. Caso contrário, é só alguém com uma moralidade que é drasticamente estranha para mim. Nesse caso, espero que ele nunca se encontre em nenhuma posição de poder. É um imperativo moral construir uma IA poderosa e alinhada, assim que possível, e fazer com que ela melhore tudo o que está errado no nosso mundo. Se não construirmos, todo mundo morre.