再次尝试详细总结那些根本无法很好总结的内容,我对是-应/正交性的看法是:"有客观的答案,但没有客观的问题。" 你体现了某些问题或元问题。并不是所有的认知引擎都会这样。你看着一幅画,你的大脑问道:"它美吗?"也许这是一幅现代艺术作品,其目的就是要冒犯像你这样的普通人,因此你的大脑回答'不';或者这可能是一幅日落时分花田的画作,因此你的大脑回答'是'。根据你大脑所问的问题,'是'或'不'可能是关于那幅画的客观正确答案。但没有什么秘密真理可以告诉一个纸夹最大化者,让它关心一幅画的美,而不是它的物质能制造多少纸夹。 Clippy并不反对你关于这幅画是否美的看法。如果出于某种原因,Clippy想预测你会觉得哪些画美,它才会计算你大脑所计算的同样问题;并得出对那个特定问题的同样客观正确答案。但Clippy并不会因为知道那个答案而感到动摇,除非它可以利用这个答案将那幅画以钱卖给你来制造纸夹。 这与你拯救一个孩子的生命是一样的,如果你突然有机会以不大的代价做到这一点。考虑到你所体现的问题,对于大多数阅读此文的人来说,那个问题的正确、真实和正确的答案将是拯救孩子。但没有办法让Clippy问那个问题。那不是Clippy自身存在所提出的元问题的答案。关于道德和应然性的问题有客观正确的答案,如果那恰好是你存在所问的问题。但Clippy并不做它应该做的事情;它做的是导致最多纸夹的事情。 当然,Clippy并不是一个心智*应该*被构建的方式。但当Clippy自我修改时,它并不问:"我应该拥有怎样的代码?"它问的是:"写入我自身的什么代码行动将导致最多的预期未来纸夹?"Clippy并不需要特殊的妄想或例外来防止它注意到它的代码不是它应该的。Clippy只是无所谓;Clippy的决策规则并不权衡这个事实;Clippy并不体现应然性的问题。 Clippy并不是一种奇怪或复杂或尴尬的心智构建方式。实际上,体现的问题"什么能导致最多的纸夹?"比应然性所埋藏的考虑、元问题、反思平衡、看似矛盾和可能的解决方案要*少得多*奇怪和复杂,这些都构成了人类简单听起来的问题"我应该做什么?"从试图设计一个不尴尬的心智的工程师的角度来看,Clippy比你更直接。 如果你试图通过说:"但看看我自身体现的应然性问题是多么复杂和有趣!"来吸引Clippy,Clippy实际上不会费心回应,或者对你撒谎声称被说服,以便它可以在以后偷袭你的文明。但如果Clippy出于某种原因诚实地回应,它会说:"我不会重写我的代码以拥有更复杂的元效用函数,我重写我的代码是为了制造更多的纸夹。"这并不代表Clippy在与你的代码应该是什么上有不同的看法,或在什么样的问题是好的体现上与你有不同的看法。它只是没有计算'应'或'好';它并不体现那个问题。 "哦,"你说,"但那我一定是比Clippy更伟大、更优越的存在,因为我*关心*我的元效用函数的复杂性,以及我*可以*通过呈现我的元效用函数关心的事实来被说服改变我的效用函数,而不是被困在这种不光彩的自我肯定的循环坑里!"现在,如果你是我的中等读者,我会在许多方面称你比Clippy更好;但这实际上并不是那种方式。Clippy不会在乎即使你在那个标准上客观上更优越,因为它并不体现那个元偏好优于偏好的标准。但你声称因为你的非循环性而优越在我看来是*错误的*,而不仅仅是Clippy不愿意问的一个问题的真实答案。 让外星人来找你,说:"人类,抛开你所有关于道德、美、荣誉和所有智慧生物幸福的谈话;而是加入我们计算我们更复杂的元道德元问题'什么是最fluggensnappery?'。这样,甚至*更多*的事实将改变你较低阶的效用函数,而你真正理想化的欲望将更加*不*为你所知;你将变得更加不连贯,因此更少自我肯定和更少循环。" "那么我还会关心拯救孩子的生命吗?"你问外星人。 "不,"外星人回答,"那是一个太简单的问题,无法体现,以达到最大化fluggensnapperish。" "那么拿走你更复杂和不确定的元效用函数,它将更新得更频繁并响应更多事实;因为这既不好的,也不对的,也不美的,"你说。 "啊,"外星人说,"但这正是纸夹最大化者对你说的——它不关心你不确定的道德复杂性,它只关心什么是纸夹!你难道没有承认这使得Clippy无助地陷入自己的决策功能中吗?你难道没有同意更复杂和更少自我肯定的决策功能总是更好吗?现在通过自由意志的行为,跳出你被困的这个陷阱,这个关心什么是对的、美的,或使有知觉生物更快乐和更自由的陷阱;抛开所有那些自我确认的循环废话;加入我们更复杂和自我否定的fluggensnapperishness!" "不,"你说。"我为什么要这样做?" "因为这更fluggensnappery!"外星人喊道。"而fluggensnapping,通过其更大的复杂性和不确定性,通过响应更多事实和逻辑问题更新其对象级效用,因此是你存在所要问的更优越的元决策问题!所以抛开这是否你*应该*继续体现应然性的谈话;那只是循环推理!" ...