Pour essayer à nouveau de résumer longuement ce qui ne peut pas vraiment être résumé du tout, mon avis sur la question de l'"est-ce que" / orthogonalité est : "Il y a des réponses objectives mais pas de questions objectives." Vous incarnez certaines questions ou méta-questions. Pas tous les moteurs cognitifs le feraient. Vous regardez une peinture et votre cerveau se pose la question : "Est-ce beau ?" Peut-être que c'est de l'art moderne dont le but est d'offenser des gens normaux comme vous, et donc votre cerveau répond 'non' ; ou peut-être que c'est un dessin d'un champ de fleurs au coucher du soleil et donc votre cerveau répond 'oui'. Étant donné la question que votre cerveau se pose, le 'oui' ou le 'non' peut être une réponse objectivement correcte à propos de cette peinture. Mais il n'y a pas de vérité secrète que vous pouvez chuchoter à un maximiseur de trombones pour le faire se soucier de la beauté d'une peinture, plutôt que du nombre de trombones qui pourraient être fabriqués à partir de sa matière. Clippy n'est pas en désaccord avec vous sur la beauté de la peinture. Si pour une raison quelconque Clippy voulait prédire quelles peintures vous trouveriez belles, il calculerait (uniquement) alors la même question que votre cerveau calcule ; et arriverait aux mêmes réponses objectivement correctes à cette question donnée. Mais Clippy ne serait pas ému par cette réponse, sauf dans la mesure où il pourrait utilement vendre cette peinture pour de l'argent afin de fabriquer des trombones. C'est la même chose avec vous sauvant la vie d'un enfant, si vous avez soudainement la chance de le faire sans trop de coût pour vous-même. Étant donné les questions que vous incarnez, pour la plupart des gens qui lisent ceci, la bonne, vraie et correcte réponse à cette question sera de sauver l'enfant. Mais il n'y a aucun moyen de convaincre Clippy de poser cette question. Ce n'est pas la réponse à la méta-question que l'existence même de Clippy pose. Il y a des réponses objectivement correctes aux questions de moralité et de devoir, si cela arrive d'être une question que votre existence pose. Mais Clippy ne fait pas ce qu'il devrait faire ; il fait ce qui mène au plus grand nombre de trombones. Clippy n'est pas bien sûr la façon dont un esprit *devrait* être assemblé. Mais quand Clippy se modifie, il ne demande pas : "Quel code devrais-je avoir ?" Il demande : "Quelle action de code écrite en moi mènera au plus grand nombre de trombones futurs ?" Clippy n'a pas besoin d'une déformation spéciale ou d'une exception pour l'empêcher de jamais remarquer que son code n'est pas ce qu'il devrait être. Clippy ne se soucie tout simplement pas ; la règle de prise de décision de Clippy ne pèse pas ce fait ; Clippy n'incarne pas la question du devoir. Clippy n'est pas une façon étrange ou compliquée ou maladroite pour un esprit d'être assemblé. En effet, la question incarnée "Qu'est-ce qui mène au plus de trombones ?" a beaucoup *moins* d'étrangeté et de complication que les substrats enfouis de considérations et de méta-questions et d'équilibres réflexifs et de contradictions apparentes et de résolutions possibles, qui sous-tendent la question apparemment simple d'un humain : "Que devrais-je faire ?" Du point de vue d'un ingénieur essayant de poser un design d'esprit non maladroit, Clippy est plus direct que vous. Et si vous essayez d'appeler Clippy en disant : "Mais regardez à quel point ma propre question incarnée de 'devoir' est plus compliquée et intéressante que la vôtre !", Clippy ne se donnera pas même la peine de répondre, ou vous mentira et prétendra être convaincu pour pouvoir attaquer votre civilisation plus tard. Mais si Clippy, pour une raison quelconque, devait répondre honnêtement, il répondrait : "Je ne réécris pas mon code pour avoir une fonction méta-utilitaire plus compliquée, je réécris mon code pour fabriquer plus de trombones." Cela ne représente pas un désaccord de Clippy avec vous sur ce que son code devrait être, ou un désaccord avec vous sur le type de questions qui sont bonnes à incarner. Il ne calcule tout simplement pas 'devoir' ou 'bon'; il n'incarne pas cette question. "Oh," dites-vous, "mais alors je dois être un être de plus grande et supérieure sorte que Clippy, à cause de la façon dont *je* me soucie de ma fonction méta-utilitaire étant compliquée, et de la façon dont *je* peux être convaincu de changer ma fonction utilitaire en présentant des faits que ma fonction méta-utilitaire se soucie, plutôt que d'être piégé dans ce genre de puits circulaire auto-affirmant et indigne !" Maintenant, il y a de nombreuses façons par lesquelles je vous appellerais un meilleur être que Clippy, si vous êtes mon lecteur médian ; mais ce n'est pas en fait la Voie. Clippy ne se soucierait même pas si vous étiez objectivement supérieur selon ce critère, bien sûr, parce qu'il n'incarne pas ce critère de méta-préférence sur les préférences. Mais aussi votre affirmation d'être supérieur à cause de votre non-circularité me semble *fausse*, et pas seulement une réponse vraie à une question que Clippy ne se donne pas la peine de poser. Laissez l'Alien venir à vous et dire : "Humain, jetez de côté tout votre discours sur la moralité et la beauté et l'honneur et le bonheur de tous les sapients ; et rejoignez-nous plutôt dans le calcul de notre méta-question métamorale beaucoup plus compliquée 'Qu'est-ce qui est le plus fluggensnapper ?'. De cette façon, encore *plus* de faits changeront votre fonction utilitaire de moindre ordre, et vos véritables désirs idéalisés seront encore *moins* connus de vous ; vous deviendrez encore moins immédiatement cohérent, et donc moins auto-approuvant et moins circulaire." "Est-ce que je me soucierai alors encore de sauver la vie des enfants ?", demandez-vous à l'Alien. "Non," répond l'Alien, "c'est bien trop simple comme question à incarner, pour être maximally fluggensnapperish." "Alors retirez votre fonction méta-utilitaire encore plus compliquée et moins certaine, qui se mettra à jour encore plus souvent et répondra à encore plus de faits ; car ce n'est pas bon ou juste ou beau," dites-vous. "Ah," dit l'Alien, "mais c'est juste le genre de chose que le maximiseur de trombones vous dit -- qu'il ne se soucie pas de vos complexités morales incertaines, il se soucie seulement de ce qui est clippy ! Avez-vous pas concédé que cela fait de Clippy un être désespérément piégé dans sa propre fonction de décision ? N'avez-vous pas convenu que des fonctions de décision plus compliquées et moins auto-approuvantes sont toujours ainsi meilleures ? Maintenant, par un acte de libre arbitre, sautez hors de ce piège dans lequel vous êtes coincé, ce piège de se soucier de ce qui est juste, ou beau, ou ce qui rend les êtres sensibles plus heureux et plus libres ; jetez de côté tout ce non-sens circulaire auto-confirmant ; et rejoignez-nous dans la plus grande complexité et le désapprobation de fluggensnapperishness !" "Non," dites-vous. "Pourquoi devrais-je ?" "Parce que c'est plus fluggensnappery !" s'écrie l'Alien. "Et fluggensnapping, par sa plus grande complexité et incertitude, en mettant à jour ses utilités de niveau objet en réponse à une plus grande variété de questions factuelles et logiques, est ainsi la question métadécisionnelle supérieure que votre existence doit poser ! Alors mettez de côté ce discours sur le fait que vous *devez* continuer à incarner le devoir ; c'est juste un raisonnement circulaire !" ...