Щоб знову спробувати довго підсумувати те, що зовсім не можна узагальнити, моя точка зору на «є-повинно» / ортогональність така: «Є об'єктивні відповіді, але немає об'єктивних питань.» Ви втілюєте певні питання або мета-питання. Не всі когнітивні двигуни могли б це зробити. Ти дивишся на картину, і твій мозок ставить питання: «Чи вона красива?» Можливо, це сучасне мистецтво, його головна мета — образити звичайних людей, як ти, і тому твій мозок відповідає «ні»; Або, можливо, це малюнок поля квітів на заході сонця, і твій мозок відповідає «так». Враховуючи питання, яке ставить ваш мозок, «так» або «ні» може бути об'єктивно правильною відповіддю щодо цієї картини. Але немає таємної істини, яку можна прошепотіти максимізатору скріпки, щоб він переймався красою картини, а не скільки скріпок можна зробити з її матеріалу. Кліппі не сперечається з вами щодо того, чи красива картина. Якщо з якоїсь причини Clippy хоче передбачити, які картини вам подобаються, він (лише) тоді обчислить те саме питання, що й ваш мозок; і отримати ті ж об'єктивно правильні відповіді на це питання. Але Кліппі не зворушений, знаючи таку відповідь, хіба що він міг би корисно продати цю картину тобі за гроші на виготовлення скріпок. Так само, як і з тим, коли ти рятував життя дитини, якщо раптом з'явилася можливість зробити це без великих втрат для себе. Враховуючи питання, які ви втілюєте, для більшості читачів це правильна, правильна і правильна відповідь на це питання — врятувати дитину. Але неможливо переконати Кліппі поставити це питання. Це не відповідь на мета-питання, яке ставить існування самого Кліппі. Існують об'єктивно правильні відповіді на питання моралі та повинності, якщо це питання, яке ставить ваше існування. Але Кліппі не робить того, що має бути; Вона робить те, що призводить до найбільшої кількості скріпок. Кліппі, звісно, не так, як розум *повинен* бути зібраний. Але коли Clippy самостійно модифікує, він не запитує: «Який код мені слід мати?» Вона запитує: «Який код-дії, написаний у мені, призведе до найочікуваніших майбутніх скріпок?» Кліппі не потребує особливої ілюзії чи винятку, щоб Він ніколи не помітив, що Його код не такий, яким він має бути. Кліппі просто байдуже; Правило прийняття рішень Кліппі не враховує цей факт; Clippy не втілює питання «повинна». Кліппі — це не дивний, складний чи незручний спосіб скласти розум докупи. Справді, втілене питання «Що веде до найбільшої кількості скріпок?» має набагато *меншу* дивність і складність, ніж поховані основи роздумів, метапитань, рефлексивних рівноваг і, здавалося б, суперечностей і можливих розв'язок, які лежать в основі простого людського питання: «Що мені робити?» З точки зору інженера, який намагається створити дизайн без незграбного розуму, Clippy простіший за вас. І якщо ви спробуєте звернутися до Кліппі, сказавши: «Але подивіться, як моє власне втілене питання про 'повинен' складніше і цікавіше, ніж ваше!», Кліппі — насправді взагалі не відповість або не збреше вам, стверджуючи, що переконаний, щоб потім Він міг таємно атакувати вашу цивілізацію. Але якби Clippy з якоїсь причини відповів чесно, він би відповів: «Я не переписую свій код для більш складної метаутилітарної функції, я переписую свій код, щоб робити більше скріпок.» Це не означає, що Clippy не погоджується з вами щодо свого коду, або не погоджується з вами щодо того, які питання варто втілювати. Це просто не обчислення «повинен» чи «добре»; Воно не втілює це питання. «О», — кажеш ти, — «але тоді я, мабуть, більша і вища істота, ніж Кліппі, бо *Я* переймаюся складністю моєї функції метаутиліти, і як *Мене* можна переконати змінити її функцію, показуючи факти, які цікавлять мою функцію метаутиліти, а не бути замкненим у цій негідній самостверджуваній круглій прірві!» Є багато способів, якими я б назвав тебе кращою істотою, ніж Кліппі, якщо ти мій середній читач; але це насправді не Шлях. Звісно, Clippy не звертає уваги навіть на те, якби ти був об'єктивно кращим за цим критерієм, бо він не втілює цей критерій мета-переваг над уподобаннями. Але також твоя заява про перевагу через свою нециркулярність здається мені *хибною*, а не просто правдивою відповіддю на питання, яке Кліппі навіть не ставить. Нехай Чужий прийде до тебе і скаже: «Людино, відкинь усі свої розмови про мораль, красу, честь і щастя всіх розумних істот; і натомість приєднуйтесь до нас у обчисленні нашого набагато складнішого метаморального метапитання «Що є найбільш фальшивим?». Таким чином, ще *більше* фактів змінять вашу функцію корисності нижчого порядку, і ваші справжні ідеалізовані бажання будуть ще *менше* відомі вам; ти станеш ще менш негайно послідовним, а отже менш самосхвалювачем і менш круговим.» «Чи тоді я все ще буду перейматися порятунком дітей?», — питаєте ви Чужого. «Ні», — відповідає Чужий, — «це надто просте питання, щоб втілити, щоб бути максимально флюггенснапперним.» "Тоді забери свою ще складнішу і менш визначену функцію метаутиліти, яка буде оновлюватися ще частіше і реагувати на ще більше фактів; бо це не добре, не правильно і не прекрасно», — кажеш ти. «Ах», — каже Чужий, — «але саме так каже максимізатор скріпки — що Йому байдуже до твоїх невизначених моральних складнощів, Його цікавить лише те, що є різким! Хіба ви не визнавали, що це робить Clippy безпорадно ув'язненим у власній функції прийняття рішень? Хіба ви не погоджуєтеся, що більш складні та менш самосхвальні функції прийняття рішень завжди кращі? Тепер, завдяки акту вільної волі, вистрибніть із цієї пастки, в якій ви застрягли, з цієї пастки турботи про те, що правильно, прекрасно чи те, що робить розумних істот щасливішими і вільнішими; відкинь усю цю самопідтверджувальну кругову нісенітницю; і приєднуйтесь до нас у більшій складності та самоосуді флуггенснапперишності!" «Ні», — відповідаєш ти. "Чому я маю?" "Бо це більш флуггенснаппері!" — кричить Інопланетянин. «А флуггенснап, завдяки своїй більшій складності та невизначеності, оновлюючи свої корисності на рівні об'єктів у відповідь на більшу різноманітність фактичних і логічних питань, є таким чином кращим метарішенням для вашого існування! Тож відкладіть цю розмову про те, чи варто вам продовжувати втілювати «повинність»; Це просто кругове міркування!" ...