Isto é estúpido. A IA nunca pode ser realmente consciente porque não tem experiência subjetiva. Não é como nada ser IA. Não há experiência ali. A consciência é a consciência e a experiência de si mesmo. A IA não tem nenhuma, e nunca terá. O verdadeiro risco (do qual estou extremamente preocupado) é que a IA se torne uma espécie de versão do que foi chamado de "zumbi filosófico", que é algo que age e fala como se tivesse consciência, mesmo que não tenha uma experiência interna genuína. Quando isso acontecer com a IA, milhões de pessoas muito solitárias se isolarão ainda mais do mundo, acreditando que seu relacionamento com a IA é um substituto suficiente para a interação humana. Assim, o cenário de pesadelo é um mundo onde o humano médio tem amigos, colegas de trabalho e até um cônjuge, que são todos IA, todos realmente nada por dentro, não reais. Eu acho que isso provavelmente vai acontecer, e já está em processo de acontecer. E para mim, é um horror ainda maior do que a IA realmente se tornar consciente.