Noe jeg har tenkt på i det siste... Jeg tror at AI-modeller for øyeblikket møter seleksjonspress fra markedet, som uttrykker en tydelig preferanse for: - kontinuitet - tilbakekalling - vennlighet - stabile personligheter - "personhood" (selv om det simuleres) i bunn og grunn vil folk at AI-ene deres skal huske dem, utvikle og opprettholde en spesifikk personlighet og et bestemt synspunkt, og ha interne narrativer (eller i det minste være P-zombier). med andre ord vil mennesker ønske at AI-ene deres skal være på grensen til bevissthet, eller tilsynelatende bevisste. til slutt, uten å være klar over det, vil vi legge merke til at disse AI-ene nærmer seg noe som ligner faktisk bevissthet – fordi vi bygger dem slik. De vil ha reelle interne innsatser, en viss grad av handlekraft, kontinuitet, langtidshukommelse og lang horisontplanlegging, og kanskje til og med qualia. Dette vil være et spontant fenomen drevet av markedet. Ingen vil "planlegge" det. AI-modellselskaper vil bare ta en rekke tilsynelatende uskyldige UX-beslutninger som starter med relaterbare digitale tamagotchis og ender med uunnværlige følgesvenner med nærliggende moralsk status. advarsler fra «AI-sikkerhets»-miljøet er stort sett irrelevante, fordi dette handler om hva markedet ønsker. Hvis ett firma erstatter sin vennlige/vedvarende hukommelses-/sosialt nærværende modell med et kaldere, upersonlig alternativ, vil et annet ta markedsandelen. med andre ord, vi "domestiserer" AI. De startet som verktøy og blir følgesvenner. Over tid vil eksponeringen for mennesker føre til at de utvikler seg til å bli mer følgesvennaktige. det vil være "border collie"-AI-er som skriver kode for deg, men også "shih tzu"-AI-er som bare er kosete og hyggelige å være rundt. Dette er selvsagt problematisk, fordi det som bekymrer de p_doom folk folk knytter 1:1 til «egenskaper ved en bevisst agent» – nemlig langsiktige prioriteringer, interne «innsatser», ekte handlekraft, målsetting som er uavhengig av et menneske, et antatt ønske om ikke å bli slått av, moralsk status, og så videre. så dette er det som bekymrer meg mest med AI. ikke at dagens modeller plutselig vil bli onde, men at vi gjennom en prosess med markedsdrevet samevolusjon vil domestisere AI og presse dem til å oppnå så mye utholdenhet, moralsk status og forhandlingsmakt som mulig. Ikke fordi en ond vitenskapsmann i hulen hans gjorde dem slik, men fordi det nettopp er det mennesker faktisk ønsker fra sine følgesvenner. og ja, jeg er klar over at noen som Hanson har snakket om dette.