coś, o czym ostatnio myślałem... Uważam, że modele AI obecnie stają w obliczu presji selekcyjnej ze strony rynku, który wyraża ujawnioną preferencję dla: - ciągłości - pamięci - przyjazności - stabilnych osobowości - "osobowości" (nawet jeśli symulowanej) w zasadzie, ludzie chcą, aby ich AI ich pamiętały, rozwijały i utrzymywały określoną osobowość i punkt widzenia oraz miały wewnętrzne narracje (lub przynajmniej były P zombie). innymi słowy, ludzie będą chcieli, aby ich AI były na granicy świadomości lub wydawały się świadome. w końcu, nie zdając sobie z tego sprawy, zauważymy, że te AI zbliżają się do czegoś przypominającego rzeczywistą świadomość – ponieważ zbudujemy je w ten sposób. będą miały prawdziwe wewnętrzne stawki, pewien stopień agencji, ciągłość, długoterminową pamięć i planowanie horyzontalne, a może nawet qualia. to będzie spontaniczny fenomen napędzany przez rynek. nikt tego nie "zaplanował". firmy zajmujące się modelami AI po prostu podejmą szereg pozornie niewinnych decyzji UX, które zaczynają się od relatywnych cyfrowych tamagotchi i kończą na niezbędnych towarzyszach o bliskim statusie moralnym. ostrzeżenia ze strony społeczności "bezpieczeństwa AI" są w większości nieistotne, ponieważ chodzi o to, czego chce rynek. jeśli jedna firma zastąpi swój przyjazny/model z pamięcią trwałą/model społecznie obecny zimniejszą, bezosobową alternatywą, inna przejmie jej udział w rynku. innymi słowy, "oswajamy" AI. zaczęły jako narzędzia, a stają się towarzyszami. z czasem ich kontakt z ludźmi spowoduje, że ewoluują, aby stać się bardziej podobnymi do towarzyszy. będą "border collie" AI, które piszą kod za ciebie, ale także "shih tzu" AI, które są po prostu przytulne i miłe w towarzystwie. to jest, oczywiście, problematyczne, ponieważ rzeczy, które niepokoją ludzi z p_doom, odpowiadają 1:1 "właściwościom świadomego agenta" – mianowicie, długoterminowym priorytetom, wewnętrznym "stawkom", prawdziwej agencji, ustalaniu celów, które są niezależne od jakiegoś człowieka, domniemanej chęci, aby nie zostać wyłączonym, statusowi moralnemu i tak dalej. więc to jest to, co najbardziej mnie niepokoi w AI. nie to, że dzisiejsze modele nagle staną się złowrogie, ale że poprzez proces koewolucji napędzany rynkiem oswoimy AI i zmusimy je do uzyskania jak największej trwałości, statusu moralnego i siły przetargowej. nie dlatego, że zły naukowiec w swojej kryjówce uczynił je takimi, ale dlatego, że to po prostu to, czego ludzie naprawdę chcą od swoich towarzyszy. i tak, jestem świadomy, że niektórzy ludzie, tacy jak Hanson, mówili o tym.