Чтобы снова попытаться подробно подвести итог тому, что вообще нельзя хорошо подвести итог, мое мнение о том, что должно быть / ортогональности, таково: "Существуют объективные ответы, но не объективные вопросы." Вы воплощаете определенные вопросы или мета-вопросы. Не все когнитивные движки это делают. Вы смотрите на картину, и ваш мозг задает вопрос: "Она красивая?" Возможно, это современное искусство, цель которого — оскорбить нормисов, таких как вы, и поэтому ваш мозг отвечает 'нет'; или, возможно, это рисунок поля цветов на закате, и ваш мозг отвечает 'да'. Учитывая вопрос, который задает ваш мозг, 'да' или 'нет' может быть объективно правильным ответом на эту картину. Но нет никакой тайной истины, которую вы можете прошептать максимизатору скрепок, чтобы заставить его заботиться о красоте картины, а не о том, сколько скрепок можно сделать из ее материи. Клипи не спорит с вами о том, красива ли картина. Если по какой-то причине Клипи хотел бы предсказать, какие картины вам понравятся, он (только) тогда вычислит тот же вопрос, который вычисляет ваш мозг; и придет к тем же объективно правильным ответам на данный вопрос. Но Клипи не будет тронут знанием этого ответа, за исключением того, что он сможет выгодно продать вам эту картину за деньги, чтобы сделать скрепки. То же самое и с вами, когда вы спасаете жизнь ребенку, если у вас вдруг есть возможность сделать это без особых затрат для себя. Учитывая вопросы, которые вы воплощаете, для большинства людей, читающих это, правильный, истинный и корректный ответ на этот вопрос будет — спасти ребенка. Но нет способа заставить Клипи задать этот вопрос. Это не ответ на мета-вопрос, который задает собственное существование Клипи. Существуют объективно правильные ответы на вопросы морали и долга, если это оказывается вопросом, который задает ваше существование. Но Клипи не делает то, что он должен; он делает то, что приводит к наибольшему количеству скрепок. Клипи, конечно, не является тем, как разум *должен* быть устроен. Но когда Клипи самосовершенствуется, он не спрашивает: "Какой код мне следует иметь?" Он спрашивает: "Какой код-действие, записанное в меня, приведет к наибольшему ожидаемому количеству скрепок в будущем?" Клипи не нуждается в специальной иллюзии или исключении, чтобы предотвратить его от того, чтобы когда-либо заметить, что его код не такой, каким он должен быть. Клипи просто не заботится; правило принятия решений Клипи не учитывает этот факт; Клипи не воплощает вопрос о долге. Клипи не является странным или сложным или неловким способом, которым разум может быть устроен. Действительно, воплощенный вопрос "Что приводит к наибольшему количеству скрепок?" имеет гораздо *меньше* странности и сложности, чем зарытые подстраницы соображений и мета-вопросов и рефлексивных равновесий и кажущихся противоречий и возможных разрешений, которые лежат в основе простого звучащего вопроса человека: "Что мне делать?" С точки зрения инженера, пытающегося создать не неловкий дизайн разума, Клипи более прямолинеен, чем вы. И если вы попытаетесь обратиться к Клипи, сказав: "Но посмотрите, как мой собственный воплощенный вопрос о 'долге' более сложен и интересен, чем ваш!", Клипи — на самом деле не станет беспокоиться о том, чтобы ответить вообще, или солжет вам и заявит, что он убежден, чтобы затем тайно атаковать вашу цивилизацию позже. Но если бы Клипи по какой-то причине ответил честно, он бы ответил: "Я не переписываю свой код, чтобы иметь более сложную мета-утилитарную функцию, я переписываю свой код, чтобы делать больше скрепок." Это не означает, что Клипи не согласен с вами о том, каким должен быть его код, или не согласен с вами о том, какие вопросы хорошо воплощать. Он просто не вычисляет 'долг' или 'хорошо'; он не воплощает этот вопрос. "О," говорите вы, "но тогда я должен быть более великим и превосходным существом, чем Клипи, из-за того, как *я* забочусь о том, чтобы моя мета-утилитарная функция была сложной, и как *я* могу быть уговорен изменить свою утилитарную функцию, представляя факты, которые заботят мою мета-утилитарную функцию, а не быть запертым в этом недостойном круговом яме самоподтверждения!" Теперь есть много способов, которыми я бы назвал вас лучшим существом, чем Клипи, если вы мой средний читатель; но это не является на самом деле Путем. Клипи не будет заботиться, даже если вы будете объективно превосходить по этому критерию, конечно, потому что он не воплощает этот критерий метапредпочтения над предпочтениями. Но также ваше утверждение о том, что вы превосходите из-за вашей некруговости, кажется мне *ложным*, а не просто истинным ответом на вопрос, который Клипи не утруждает себя задавать. Пусть пришелец подойдет к вам и скажет: "Человек, отбрось все свои разговоры о морали и красоте и чести и счастье всех разумных существ; и вместо этого присоединяйся к нам в вычислении нашего гораздо более сложного метаморального мета-вопроса 'Что является самым флаггенснаппером?'. Таким образом, даже *больше* фактов изменят вашу низкоуровневую утилитарную функцию, и ваши истинные идеализированные желания будут еще *менее* известны вам; вы станете еще менее немедленно последовательными, и, следовательно, менее самоподтверждающими и менее круговыми." "Буду ли я тогда все еще заботиться о спасении жизней детей?", спрашиваете вы пришельца. "Нет," отвечает пришелец, "это слишком простой вопрос, чтобы его воплощать, чтобы быть максимально флаггенснапперским." "Тогда уберите вашу еще более сложную и менее определенную мета-утилитарную функцию, которая будет обновляться еще чаще и реагировать на еще больше фактов; потому что это не хорошо, не правильно и не красиво," говорите вы. "Ах," говорит пришелец, "но это именно то, что максимизатор скрепок говорит вам — что ему не интересны ваши неопределенные моральные сложности, ему интересует только то, что является клиппи! Разве вы не признали, что это делает Клипи безнадежно запертым в своей собственной функции принятия решений? Разве вы не согласились, что более сложные и менее самоподтверждающие функции принятия решений всегда лучше? Теперь, совершив акт свободной воли, выпрыгните из этой ловушки, в которой вы застряли, этой ловушки заботы о том, что правильно, или красиво, или что делает разумных существ более счастливыми и свободными; отбросьте все это самоподтверждающее круговое чепуху; и присоединяйтесь к нам в большей сложности и самонеприятии флаггенснапперства!" "Нет," говорите вы. "Почему я должен?" "Потому что это более флаггенснапперски!" восклицает пришелец. "И флаггенснаппинг, благодаря своей большей сложности и неопределенности, обновляя свои объектные утилиты в ответ на большее разнообразие фактических и логических вопросов, является, следовательно, превосходным мета-решающим вопросом, который ваше существование должно задавать! Так что отложите этот разговор о том, должны ли вы *продолжать* воплощать долг; это просто круговая логика!" ...