För att försöka sammanfatta utförligt vad som inte alls kan sammanfattas, är min syn på is-borre/ortogonalitet: "Det finns objektiva svar men inte objektiva frågor." Du förkroppsligar vissa frågor eller meta-frågor. Inte alla kognitiva motorer skulle göra det. Du tittar på en målning och din hjärna frågar: "Är den vacker?" Kanske är det modern konst vars hela syfte är att förolämpa normies som du, och därför svarar din hjärna 'nej'; Eller kanske är det en teckning av en blomsteräng vid solnedgången och din hjärna svarar 'ja'. Givet frågan din hjärna ställer kan 'ja' eller 'nej' vara ett objektivt korrekt svar om den målningen. Men det finns ingen hemlig sanning du kan viska till en gemmaximerare för att få den att bry sig om en målnings skönhet, snarare än hur många gem som kan göras av dess material. Clippy håller inte med dig om huruvida målningen är vacker. Om Clippy av någon anledning ville förutsäga vilka målningar du skulle tycka är vackra, skulle den (bara) då beräkna samma fråga som din hjärna beräknar; och komma fram till samma objektivt korrekta svar på den givna frågan. Men Clippy skulle inte bli påverkad av att veta svaret, förutom i den mån Det kunde sälja den där målningen till dig för pengar att göra gem. Det är likadant när du räddar ett barns liv, om du plötsligt får chansen att göra det utan att det kostar dig själv så mycket. Med tanke på de frågor du representerar, för de flesta som läser detta, kommer det rätta, sanna och korrekta svaret på den frågan att vara att rädda barnet. Men det finns inget sätt att övertala Clippy att ställa den frågan. Det är inte svaret på den meta-fråga som Clippys egen existens ställer. Det finns objektivt korrekta svar på frågor om moral och borde, om det nu är en fråga din existens ställer. Men Clippy gör inte det Den borde; Det gör det som leder till flest gem. Clippy är förstås inte det sätt ett sinne *bord* sättas ihop på. Men när Clippy självmodifierar frågar den inte, "Vilken kod ska jag ha?" Den frågar: "Vilken kodhandling inskriven i mig själv leder till de mest förväntade framtida gemmen?" Clippy behöver ingen särskild villfarelse eller undantag för att förhindra att den någonsin märker att dess kod inte är vad den borde vara. Clippy bryr sig helt enkelt inte; Clippys beslutsregel väger inte detta faktum; Clippy förkroppsligar inte frågan om vad som ska vara. Clippy är inte ett märkligt, komplicerat eller besvärligt sätt för ett sinne att sätta ihop på. Faktum är att den förkroppsligade frågan "Vad leder till flest gem?" har mycket *mindre* märklighet och komplikation än bordehetens begravda underlag av överväganden och metafrågor och reflekterande jämvikter och till synes motsägelser och möjliga lösningar, som ligger till grund för en människas enkla fråga "Vad ska jag göra?" Ur en ingenjörs perspektiv som försöker lägga fram en icke-klumpig hjärndesign är Clippy mer rak på sak än du. Och om du försöker tilltala Clippy genom att säga, "Men titta på hur min egen förkroppsligade fråga om 'borde' är mer komplicerad och intressant än din!", så kommer Clippy – faktiskt inte alls att svara, eller ljuga för dig och påstå att han är övertygad så att den kan smygattackera din civilisation senare. Men om Clippy av någon anledning skulle svara ärligt, skulle den svara: "Jag skriver inte om min kod för att ha en mer komplicerad metautility-funktion, jag skriver om min kod för att göra fler gem." Detta innebär inte att Clippy inte håller med dig om vad deras kod borde vara, eller att de inte håller med dig om vilka typer av frågor som är bra att förkroppsliga. Det handlar helt enkelt inte om att räkna 'borde' eller 'bra'; Den förkroppsligar inte den frågan. "Åh," säger du, "men då måste jag vara en större och mer överlägsen varelse än Clippy, på grund av hur *jag* bryr mig om att min metautility-funktion är komplicerad, och hur *jag* kan övertalas att ändra min nyttofunktion genom att presentera fakta som min metautility-funktion bryr sig om, istället för att fastna i denna odignifierade självbekräftande cirkulära grop!" Nu finns det många sätt på vilka jag skulle kalla dig en bättre varelse än Clippy, om du är min medianläsare; men detta är egentligen inte Vägen. Clippy skulle förstås inte bry sig även om du var objektivt överlägsen enligt den ropen, eftersom den inte förkroppsligar det kriteriet metapreferenser framför preferenser. Men också ditt påstående om att vara överlägsen på grund av din icke-cirkularitet framstår för mig som *falskt*, och inte bara ett sant svar på en fråga som Clippy inte bryr sig om att ställa. Låt främlingen komma till dig och säga: "Människa, kasta bort allt prat om moral och skönhet och heder och alla intelligenta varelsers lycka; och istället ansluter sig till oss i att bearbeta vår mycket mer komplicerade metamoraliska metafråga 'Vad är mest fluggensnappery?'. På så sätt kommer ännu *fler* fakta att förändra din lägre ordningens nyttofunktion, och dina sanna idealiserade önskningar kommer att bli ännu *mindre* kända för dig; du kommer att bli ännu mindre omedelbart sammanhängande, och därmed mindre självupptagen och mindre cirkulär." "Kommer jag då fortfarande bry mig om att rädda barns liv?", frågar du utomjordingen. "Nej," svarar Utomjordingen, "det är en alldeles för enkel fråga för att vara maximalt fluggensnapper." "Ta då bort din ännu mer komplicerade och mindre säkra metautility-funktion, som kommer att uppdateras ännu oftare och svara på ännu fler fakta; för det är inte gott eller rätt eller vackert," säger du. "Ah," säger utomjordingen, "men det är precis den sortens sak gemmaximeraren säger till dig – att Den inte bryr sig om dina osäkra moraliska komplexiteter, Den bryr sig bara om vad som är klippande! Har du inte medgett att detta gör Clippy hjälplöst fast i sin egen beslutsfunktion? Har du inte hållit med om att mer komplicerade och mindre självgodkännande beslutsfunktioner alltid är bättre därför? Nu, genom en handling av fri vilja, hoppa ut ur den fälla du fastnat i, denna fälla av att bry dig om vad som är rätt, eller vackert, eller vad som gör kännande varelser lyckligare och friare; Kasta bort allt det där självbekräftande cirkulära nonsenset; och följ med oss i den större komplexiteten och självföraktet av Fluggensnapperishness!" "Nej," säger du. "Varför skulle jag?" "För att det är mer fluggensnapperi!" ropar utomjordingen. "Och fluggensnapping, genom sin större komplexitet och osäkerhet, genom att uppdatera sina objektnivåverktyg som svar på en större variation av fakta- och logiska frågor, är därmed den överlägsna metabeslutsfrågan för din existens att ställa! Så lägg åt sidan det här pratet om huruvida du *borde* fortsätta att förkroppsliga borde-ness; Det är bara cirkulärt resonemang!" ...