algo em que tenho pensado ultimamente... Acredito que os modelos de IA estão atualmente enfrentando pressão de seleção do mercado, que está expressando uma preferência revelada por: - continuidade - recordação - simpatia - personalidades estáveis - "pessoa" (mesmo que simulada) basicamente, as pessoas querem que suas IAs se lembrem delas, desenvolvam e mantenham uma personalidade e um ponto de vista específicos, e tenham narrativas internas (ou pelo menos sejam zumbis P). em outras palavras, os humanos vão querer que suas IAs sejam quase conscientes, ou que pareçam conscientes. eventualmente, sem perceber, notaremos que essas IAs estão se aproximando de algo que se assemelha à consciência real – porque as construiremos dessa forma. elas terão interesses internos reais, um grau de agência, continuidade, memória de longo prazo e planejamento a longo prazo, e talvez até qualia. isso será um fenômeno espontâneo impulsionado pelo mercado. ninguém "planejará" isso. as empresas de modelos de IA apenas tomarão uma série de decisões de UX que parecem inócuas, começando com tamagotchis digitais relacionáveis e terminando com companheiros indispensáveis de status moral próximo. as advertências da comunidade de "segurança da IA" são em sua maioria irrelevantes, porque isso é sobre o que o mercado quer. se uma empresa substituir seu modelo amigável/persistente-memória/presente socialmente por uma alternativa mais fria e impessoal, outra tomará sua fatia de mercado. em outras palavras, estamos "domesticando" a IA. elas começaram como ferramentas e estão se tornando companheiros. com o tempo, sua exposição aos humanos fará com que evoluam para se tornarem mais semelhantes a companheiros. haverá IAs "border collie" que escrevem código para você, mas também IAs "shih tzu" que são apenas adoráveis e agradáveis de se estar por perto. isso é, claro, problemático, porque as coisas que preocupam as pessoas do p_doom mapeiam 1:1 com "propriedades de um agente consciente" – nomeadamente, prioridades de longo prazo, "interesses" internos, verdadeira agência, definição de metas que é independente de algum humano, um desejo presumido de não ser desligado, status moral, e assim por diante. então, essa é a coisa que mais me preocupa sobre a IA. não que os modelos de hoje se tornem de repente malévolos, mas que, através de um processo de coevolução impulsionado pelo mercado, domesticaremos a IA e a empurraremos a obter o máximo de persistência, status moral e poder de barganha possível. não porque um cientista maligno em seu covil os fez assim, mas porque é isso que os humanos realmente querem de seus companheiros. e sim, estou ciente de que algumas pessoas como Hanson falaram sobre isso.