Abych se znovu pokusil podrobně shrnout to, co vůbec nelze dobře shrnout, můj pohled na je-měl / ortogonalitu je: "Existují objektivní odpovědi, ale ne objektivní otázky." Ztělesňujete určité otázky nebo meta-otázky. Ne všechny kognitivní motory by to udělaly. Díváte se na obraz a mozek vám klade otázku: "Je krásný?" Možná je to moderní umění, jehož jediným účelem je urazit normální lidi jako jste vy, a tak váš mozek odpovídá 'ne'; Nebo je to kresba pole květin při západu slunce, takže mozek odpoví 'ano'. Vzhledem k otázce, kterou si váš mozek klade, může být "ano" nebo "ne" objektivně správnou odpovědí ohledně toho obrazu. Ale neexistuje žádná tajná pravda, kterou byste mohli pošeptat maximalizátoru kancelářských spon, aby mu záleželo na kráse obrazu místo na tom, kolik sponek by se dalo z jeho hmoty vyrobit. Clippy s tebou nesouhlasí v tom, zda je obraz krásný. Pokud by Clippy z nějakého důvodu chtěl předpovědět, které obrazy by vám přišly krásné, pak by (jen) spočítal stejnou otázku, jakou zpracovává váš mozek; a dojít ke stejným objektivně správným odpovědím na danou otázku. Ale Clippy by se nedotkl té odpovědi, pokud by vám ten obraz mohl užitečně prodat za peníze na výrobu kancelářských sponek. Je to stejné, když zachráníte dítěti život – když najednou dostanete šanci to udělat bez větších nákladů pro sebe. Vzhledem k otázkám, které ztělesňujete, pro většinu lidí, kteří toto čtou, bude správná, pravdivá a správná odpověď zachránit dítě. Ale není způsob, jak Clippyho přesvědčit, aby se na to zeptal. Není to odpověď na meta-otázku, kterou si klade samotná existence Clippyho. Existují objektivně správné odpovědi na otázky morálky a mětelnosti, pokud je to otázka, kterou si vaše existence klade. Ale Clippy nedělá to, co by měl; Dělá to, co vede k největšímu počtu kancelářských spon. Clippy samozřejmě není způsob, jakým by se mysl *měla* skládat dohromady. Ale když se Clippy sám upravuje, neptá se: "Jaký kód bych měl mít?" Ptá se: "Jaký kódový mechanismus napsaný do sebe povede k nejočekávanějším budoucím kancelářským sponkám?" Clippy nepotřebuje zvláštní klam nebo výjimku, aby si nikdy nevšiml, že jeho kód není takový, jaký by měl být. Clippyho to prostě nezajímá; Clippyho pravidlo pro rozhodování tento fakt nezohledňuje; Clippy neztělesňuje otázku "mětelnosti". Clippy není zvláštní, složitý ani neobratný způsob, jak se mysl sestavuje. Ve skutečnosti je ztělesněná otázka "Co vede k největšímu počtu kancelářských spon?" mnohem *méně* podivnosti a komplikací než pohřbené substráty úvah, metaotázek, reflexivních rovnováh a zdánlivých rozporů a možných řešení, které jsou základem jednoduché otázky člověka: "Co mám dělat?" Z pohledu inženýra, který se snaží vytvořit netrapný design mysli, je Clippy přímočařejší než vy. A pokud se pokusíte oslovit Clippyho slovy: "Ale podívejte se, jak je moje vlastní ztělesněná otázka 'měla by' složitější a zajímavější než ta vaše!", Clippy – ve skutečnosti se vůbec neobtěžuje odpovídat, nebo vám bude lhát a tvrdit, že je přesvědčený, aby mohl později zaútočit na vaši civilizaci. Ale kdyby Clippy z nějakého důvodu upřímně odpověděl, odpověděl by: "Nepřepisuji svůj kód tak, aby měl složitější metautilitní funkci, přepisuji svůj kód, abych vytvořil více kancelářských sponek." To neznamená, že by Clippy nesouhlasil s vámi ohledně toho, jaký by měl být jeho kód, nebo že by se neshodoval s vámi ohledně toho, jaké otázky je dobré ztělesňovat. Není to jen o tom, že by se počítalo "mělo by" nebo "bylo by to dobré"; Tuto otázku neztělesňuje. "Ach," říkáte, "ale pak musím být větší a nadřazenější bytost než Clippy, protože *já* se starám o to, aby moje metautilitní funkce byla složitá, a jak *já* mohu být přesvědčen ke změně své užitkové funkce tím, že předložím fakta, na kterých moje metautilitní funkce záleží, místo abych byl uvězněn v této nedůstojné, sebepotvrzující kruhové jámě!" Existuje mnoho způsobů, jak bych tě nazval lepší bytostí než Clippy, pokud jsi můj průměrný čtenář; ale to ve skutečnosti není Cesta. Clippy by se samozřejmě nezajímal, i kdybyste byli objektivně nadřazení podle tohoto pravidla, protože to nezahrnuje kritérium metapreference před preferencemi. Ale také tvé tvrzení, že jsi nadřazený kvůli své nekruhovitosti, mi přijde *nepravdivé*, a není to jen pravdivá odpověď na otázku, kterou Clippy ani neklade. Nech mimozemšťana přijít k tobě a říct: "Člověče, odhoď všechny řeči o morálce, kráse, cti a štěstí všech rozumných bytostí; a místo toho se k nám připojte při výpočtu naší mnohem složitější metamorální metaotázky 'Co je nejvíc fluggensnappery?'. Tímto způsobem ještě *více* faktů změní vaši nižší hodnotu užitkové funkce a vaše skutečné idealizované touhy budou vám ještě *méně* známé; Budeš ještě méně okamžitě soudržný, a tím méně sebeschvalující a méně kruhový." "Budu se pak ještě starat o záchranu dětí?", ptáš se mimozemšťana. "Ne," odpovídá Mimozemšťan, "to je příliš jednoduchá otázka na to, aby byla maximálně nesmyslná." "Pak odeberte ještě složitější a méně jistou metautilitní funkci, která se bude aktualizovat ještě častěji a reagovat na ještě více faktů; protože to není dobré, správné ani krásné," říkáš. "Ah," říká Mimozemšťan, "ale přesně to ti maximalizátor kancelářských sponek říká – že mu nezáleží na tvých nejistých morálních složitostech, zajímá ho jen to, co je krátké! Nepřipustil jsi, že to dělá Clippy bezmocně uvězněným ve vlastní rozhodovací funkcí? Nesouhlasili jste snad s tím, že složitější a méně samoschvalující rozhodovací funkce jsou tím vždy lepší? Nyní aktem svobodné vůle vyskočte z této pasti, ve které jste uvězněni, této pasti starat se o to, co je správné, nebo krásné, nebo co dělá cítící bytosti šťastnějšími a svobodnějšími; Odložte všechny ty sebepotvrzující kruhové nesmysly; a přidejte se k nám ve větší složitosti a sebepohrdání fluggensnapperness!" "Ne," řekneš. "Proč bych měl?" "Protože je to víc fluggensnappery!" křičí mimozemšťan. "A fluggensnapping, díky své větší složitosti a nejistotě, aktualizaci svých objektových užitků v reakci na větší škálu faktických a logických otázek, je tedy lepší metarozhodovací otázkou, kterou by si měla vaše existence položit! Takže odložte tuto debatu o tom, zda byste *měli* dál ztělesňovat to měl; To je jen kruhové uvažování!" ...