Para intentar resumir de nuevo con detalle lo que no puede resumirse en absoluto, mi opinión sobre el ser-debería / ortogonalidad es: "Hay respuestas objetivas pero no preguntas objetivas." Encarnas ciertas preguntas o meta-preguntas. No todos los motores cognitivos lo harían. Miras un cuadro y tu cerebro te pregunta: "¿Es hermoso?" Quizá sea arte moderno cuyo propósito es ofender a los normales como tú, y por eso tu cerebro responde 'no'; O quizá sea un dibujo de un campo de flores al atardecer y así tu cerebro responde 'sí'. Dada la pregunta que se hace tu cerebro, el 'sí' o el 'no' puede ser una respuesta objetivamente correcta sobre esa pintura. Pero no hay una verdad secreta que puedas susurrarle a un maximizador de clips para que se preocupe por la belleza de un cuadro, en lugar de cuántos clips se podrían hacer con su materia. Clippy no está en desacuerdo contigo sobre si la pintura es bonita. Si por alguna razón Clippy quisiera predecir qué pinturas encontrarías hermosas, entonces (solo) procesaría la misma pregunta que tu cerebro; y llegan a las mismas respuestas objetivamente correctas a esa pregunta dada. Pero Clippy no se inmutaría al saber esa respuesta, salvo en la medida en que podría venderte ese cuadro por dinero para hacer clips. Es igual que salvar la vida de un niño, si de repente tienes la oportunidad de hacerlo sin mucho coste para ti. Dadas las preguntas que planteas, para la mayoría de las personas que leen esto, la respuesta correcta, verdadera y correcta a esa pregunta será salvar al niño. Pero no hay forma de convencer a Clippy de que haga esa pregunta. No es la respuesta a la meta-pregunta que plantea la propia existencia de Clippy. Hay respuestas objetivamente correctas a preguntas sobre moralidad y debería, si es que esa es una pregunta que tu existencia se está planteando. Pero Clippy no hace lo que debería; Hace lo que lleva al mayor número de clips. Clippy, por supuesto, no es la forma en que una mente *debería* estar ensamblada. Pero cuando Clippy se automodifica, no pregunta: "¿Qué código debería tener?" Pregunta: "¿Qué acción de código escrita en mí mismo llevará a los clips de papel más esperados en el futuro?" Clippy no necesita una ilusión especial ni excepción para impedir que Él se dé cuenta de que Su código no es lo que debería ser. A Clippy simplemente no le importa; La regla de toma de decisiones de Clippy no tiene en cuenta ese hecho; Clippy no encarna la cuestión de la necesidad de ser responsable. El clippy no es una forma extraña, complicada o torpe de formar una mente. De hecho, la pregunta encarnada "¿Qué lleva a más clips?" tiene mucha *menos* extrañeza y complicación que los sustratos enterrados de consideraciones, metapreguntas, equilibrios reflexivos y aparentes contradicciones y posibles resoluciones, que subyacen a la simple pregunta humana de un humano: «¿Qué debería hacer?» Desde el punto de vista de un ingeniero que intenta establecer un diseño mental no torpe, Clippy es más directo que tú. Y si intentas apelar a Clippy diciendo: "¡Pero mira cómo mi propia pregunta encarnada de 'debería' es más complicada e interesante que la tuya!", Clippy — en realidad ni se molestará en responder en absoluto, ni te mentirá y afirmará estar convencido para poder atacar tu civilización por sorpresa después. Pero si por alguna razón Clippy respondiera con sinceridad, respondería: "No reescribo mi código para tener una función de metautilidad más complicada, reescribo mi código para hacer más clips." Esto no significa que Clippy discrepe contigo sobre cuál debería ser su código, ni que discrepe contigo sobre qué tipo de preguntas es buena la pena plantear. No es simplemente calcular 'debería' o 'bueno'; No encarna esa pregunta. "Oh," dices, "pero entonces debo ser un ser mayor y más superior que Clippy, porque *yo* me importa que mi función de metautilidad sea complicada, y cómo *yo* puedo ser convencido para cambiar mi función de utilidad presentando hechos que a mi función de metautilidad le importan, en lugar de quedar atrapado en este pozo circular indigno y autoafirmativo!" Ahora bien, hay muchas formas en las que te llamaría un ser mejor que Clippy, si eres mi lector medio; pero esto no es realmente el Camino. A Clippy no le importaría aunque fueras objetivamente superior según ese crierion, claro, porque no encarna ese criterio de metapreferencia sobre preferencias. Pero también tu afirmación de ser superior por tu no circularidad me parece *falsa*, y no solo una respuesta verdadera a una pregunta que Clippy ni siquiera se molesta en hacer. Deja que el Alienígena venga a ti y te diga: "Humano, deja a un lado todo tu discurso sobre moralidad, belleza, honor y la felicidad de todos los seres sapientes; y en su lugar únense a nosotros para calcular nuestra mucho más compleja metapregunta metamoral '¿Qué es lo más fluggensnappery?'. De ese modo, aún *más* hechos cambiarán tu función de utilidad de orden inferior, y tus verdaderos deseos idealizados serán aún *menos* conocidos para ti; Te volverás aún menos coherente de inmediato, y por tanto menos autoaprobatorio y menos circular." "¿Entonces seguiré importándome salvar la vida de niños?", le preguntas al Alienígena. "No", responde el Alienígena, "esa es una pregunta demasiado sencilla para ser la más fluggensnapperiana que lo más posible." "Entonces quita tu función de metautilidad aún más complicada y menos segura, que se actualizará aún más a menudo y responderá a más hechos; porque no es bueno, ni correcto, ni hermoso", dices. "Ah", dice el Alienígena, "pero eso es justo lo que te dice el maximizador de clips — que no le importan tus inciertas complexidades morales, solo le importa lo que es cortante! ¿No has admitido que esto hace que Clippy quede atrapado sin poder en su propia función de decisión? ¿No has coincidido en que las funciones de decisión más complicadas y menos autoaprobatorias son siempre mejores? Ahora, por un acto de libre albedrío, salta de esta trampa en la que estás atrapado, esta trampa de preocuparte por lo que es correcto, o bello, o lo que hace que los seres conscientes sean más felices y libres; dejar a un lado toda esa tontería circular autoconfirmada; ¡y únete a nosotros en la mayor complejidad y autodesaprobación de la fluggensnapperish!" "No", dices. "¿Por qué debería?" "¡Porque es más fluggensnappery!" grita el Alienígena. "Y fluggensnapping, por su mayor complejidad e incertidumbre, al actualizar sus utilidades a nivel de objeto en respuesta a una mayor variedad de preguntas fácticas y lógicas, es así la mejor pregunta metadecisional que tu existencia debe plantear! Así que deja a un lado esta charla sobre si *deberías* seguir encarnando la condición de debería; ¡Eso es solo un razonamiento circular!" ...