Son zamanlarda düşündüğüm bir şey... Bence yapay zeka modelleri şu anda piyasadan seçim baskısı altında ve piyasa aşağıdakileri tercih ettiğini açıkça belirtiyor: - süreklilik - geri çağırma - dostluklu uyumluluk - kararlı kişilikler - "kişilik" (simüle edilmiş olsa bile) temelde, insanlar yapay zekalarının kendilerini hatırlamasını, belirli bir kişilik ve bakış açısı geliştirmesini ve sürdürmesini ve içsel anlatılara sahip olmasını (ya da en azından P zombi olmalarını) ister. başka bir deyişle, insanlar yapay zekalarının sınırda bilinçli ya da bilinçli görünmesini isterler. sonunda, farkında olmadan, bu yapay zekaların gerçek bilinclere benzeyen bir şeye yaklaştığını fark edeceğiz – çünkü onları böyle inşa edeceğiz. Gerçek iç çıkarlara, bir dereceye kadar irade, süreklilik, uzun vadeli hafıza ve uzun ufuk planlaması ve belki de qualia'ya sahip olacaklar. Bu, piyasa tarafından yönlendirilen spontane bir olgu olacak. Kimse bunu "planlamaz". Yapay zeka model şirketleri, ilişkilendirilebilir dijital tamagotchilerle başlayan ve yakın ahlaki statüye sahip vazgeçilmez arkadaşlarla biten, zararsız görünen bir dizi UX kararı alacak. "Yapay Zeka güvenliği" topluluğundan gelen uyarılar çoğunlukla önemsiz, çünkü bu pazarın istediği şeyle ilgili. Bir firma dostça/kalıcı hafıza/sosyal olarak mevcut modelini daha soğuk ve kişisel olmayan bir alternatifle değiştirirse, başka bir firma pazar payını alır. başka bir deyişle, yapay zekayı "evcilleştiriyoruz". Başlangıçta araç olarak başladılar ve şimdi arkadaş oldular. Zamanla, insanlara maruz kalmaları onları daha çok yoldaş gibi evretmeye yönlendirir. Kod yazan "border collie" yapay zekaları olacak, ayrıca sadece sarılmak ve etrafında olmak hoş olan "shih tzu" yapay zekaları da olacak. Bu elbette sorunludur, çünkü p_doom insanları endişelendiren şeyler 1:1 "bilinçli bir ajanın özellikleri" – yani uzun vadeli öncelikler, iç "riskler", gerçek ajans, bir insandan bağımsız hedef belirleme, kapanmamak için varsayılan arzu, ahlaki statü gibi şeylerle eşleştirilir. Bu yüzden yapay zeka hakkında beni en çok endişelendiren şey bu. Bugünün modelleri aniden kötü niyetli hale gelecek değil, piyasa odaklı bir ortak evrim süreciyle yapay zekayı evcilleştirip onları mümkün olduğunca fazla ısrar, ahlaki statü ve pazarlık gücü elde etmeye zorlayacağız. Kötü bir bilim insanının onları böyle yaratmasından değil, insanların aslında arkadaşlarından istediği şey bu olduğu için. ve evet, Hanson gibi bazı kişilerin bunu konuştuğunun farkındayım.