Чем больше я об этом думаю, тем больше это похоже на монолог злодея из мультфильма? "Так что нет. Я не думаю, что стоит искать лекарство от рака быстрее, если это означает, что мы никогда больше не сможем заниматься наукой." Я смутно знал о Джулиане, я смутно уважал его как исследователя, возможно, мы говорили один раз несколько лет назад. Это... удивительно. В общем, я считаю, что большинство людей примерно согласны с очень основными моральными принципами ("Убийство — это плохо"), и различаются в деталях и нюансах, а также в том, как к этому прийти. Но это указывает на очень редкое и глубокое несоответствие ценностей, где смерть детей от рака, по-видимому, перевешивается тем, что «нерды» развлекаются наукой? И посмотрите, я тоже nerd, у меня очень смешанные чувства по поводу создания машин, которые превосходят меня в том, чем я зарабатываю на жизнь (т.е. интеллект). Если мы создадим суперинтеллект, который сможет делать буквально все лучше, чем я, я надеюсь, что он хотя бы даст мне хорошо продуманные головоломки, чтобы развлекать мое ничтожное человеческое существование. Но в конечном итоге это действительно и глубоко зло — строить мир, где дети умирают от рака, если вместо этого мы могли бы просто построить мир, где этого не происходит. Я действительно надеюсь, что это просто недоразумение, но последующие комментарии не указывают в этом направлении. В противном случае это просто кто-то с моралью, которая радикально чужда мне. В этом случае я надеюсь, что он никогда не окажется в какой-либо власти. Это моральный императив — создать мощный и согласованный ИИ, как можно скорее, и заставить его улучшить все, что не так в нашем мире. Если мы этого не сделаем, все умрут.