想法... 最近我遇到了一個奇怪的困難。 長期思考對我來說一直是自然的事情,我輕鬆地讓自己養成這種習慣。 但現在這感覺幾乎不可能。 為什麼?AGI。 每當我坐下來計劃未來時,我都會意識到同樣的事實。 我們在等待誰會建造第一個AGI,無論誰做到這一點,將有效地擁有世界。 這使得長期規劃感覺與現實脫節。我不知道我將生活在誰的世界裡,因此無法自信地確定任何未來。 AGI是最後的競賽。 一個能夠自動化所有智能、達成目標任務的系統,將其創造者變成接近於神的存在。 一個實體獲得了在每個領域超越所有人的能力。這結束了競爭。這結束了選擇性。第二名成為了第一名的世界觀的奴隸。 這就是為什麼AGI周圍的激勵如此危險。 每個參與者都明白,猶豫不決是通往從屬的直接道路。 這種邏輯迫使加速,推動捷徑,並消除了對安全的謹慎。一旦競賽對競爭者來說變得生死攸關,外部因素就不再重要。 還有人類因素,這本身就是一種風險。 ...