Något jag har funderat på på sistone... Jag tror att AI-modeller just nu står inför selektionstryck från marknaden, som uttrycker en tydlig preferens för: - kontinuitet - återkallelse - vänlighet - stabila personligheter - "personhood" (även om det simuleras) i princip vill folk att deras AI:er ska minnas dem, utveckla och behålla en specifik personlighet och synsätt, och ha interna berättelser (eller åtminstone vara P-zombier). med andra ord vill människor att deras AI:er ska vara gränsfallande medvetna eller medvetna. så småningom, utan att inse det, kommer vi att märka att dessa AI:er närmar sig något som liknar verkligt medvetande – eftersom vi kommer att bygga dem så. De kommer att ha verkliga interna insatser, en viss grad av handlingsfrihet, kontinuitet, långtidsminne och långsiktig planering, och kanske till och med qualia. Detta kommer att vara ett spontant fenomen drivet av marknaden. Ingen kommer att "planera" det. AI-modellföretag kommer bara att fatta en serie oskyldiga UX-beslut som börjar med relaterbara digitala tamagotchis och slutar med oumbärliga följeslagare med nära moralisk status. varningar från "AI-säkerhets"-gemenskapen är mestadels irrelevanta, eftersom det handlar om vad marknaden vill ha. Om ett företag ersätter sin vänliga/beständiga minnes-/socialt närvarande modell med ett kallare, opersonligt alternativ, kommer ett annat att ta dess marknadsandel. med andra ord, vi "domestiserar" AI. De började som verktyg och håller på att bli följeslagare. Med tiden kommer deras exponering för människor att göra att de utvecklas till att bli mer följeslagarlika. det kommer att finnas "border collie"-AI:er som skriver kod åt dig men också "shih tzu"-AI:er som bara är gosiga och trevliga att umgås med. Detta är förstås problematiskt, eftersom de saker som oroar de p_doom människor avbildar 1:1 med "egenskaper hos en medveten agent" – nämligen långsiktiga prioriteringar, interna "insatser", sann handlingskraft, målsättning som är oberoende av någon människa, en antagen önskan att inte bli avstängd, moralisk status och så vidare. så det här är det som oroar mig mest med AI. inte för att dagens modeller plötsligt kommer att bli illvilliga, utan att vi genom en process av marknadsdriven samevolution kommer att domesticera AI och pressa dem att uppnå så mycket uthållighet, moralisk status och förhandlingsstyrka som möjligt. Inte för att en ond vetenskapsman i sitt lya gjorde dem så, utan för att det är precis vad människor faktiskt vill ha från sina följeslagare. och ja, jag är medveten om att vissa personer som Hanson har pratat om detta.