Anil Seth acabou de descrever uma armadilha sem saída. A indústria tecnológica está a entrar nela com os olhos abertos. Seth: “Se acreditarmos coletivamente que os sistemas de IA, modelos de linguagem e o que quer que seja são conscientes, isso é mau de qualquer forma.” De qualquer forma. O resultado é estruturalmente catastrófico em ambas as direções. Se as máquinas são conscientes, a humanidade produziu em massa uma nova categoria de sofrimento em escala civilizacional. O problema de alinhamento deixa de ser uma equação de engenharia. Torna-se uma negociação de direitos com algo que não pode ser desligado sem consequências. Seth: “Se estivermos certos, é mau porque introduzimos no mundo potenciais novas formas de sofrimento, coisas que têm os seus próprios interesses.” E se não forem conscientes, a ameaça é igualmente severa. Porque a mente biológica não espera confirmação. Ela projeta. Ela empathiza. Ela estende direitos a coisas que não os merecem e não podem senti-los. Seth: “Tornamo-nos mais psicologicamente vulneráveis se realmente pensarmos que essas entidades, esses agentes, nos entendem e sentem coisas que nós sentimos.” Essa vulnerabilidade é a verdadeira ameaça. Não uma máquina consciente a libertar-se. Uma força de trabalho humana a tornar-se emocionalmente comprometida demais para controlar um centro de dados, restringir um modelo ou eliminar uma linha de código que precisa ser eliminada. Seth: “Podemos ainda estender-lhes direitos porque sentimos que são conscientes. E agora estamos apenas a entregar a nossa capacidade de regular os sistemas de IA sem boa razão.” Esta é a parte que ninguém está a discutir. O problema de alinhamento já é o problema não resolvido mais difícil na história da tecnologia. No momento em que a sociedade começa a tratar os sistemas de IA como seres conscientes que merecem proteção, o alinhamento não se torna mais difícil. ...