Anil Seth właśnie opisał pułapkę bez wyjścia. Przemysł technologiczny wchodzi w nią z otwartymi oczami. Seth: „Jeśli wspólnie wierzymy, że systemy AI, modele językowe i cokolwiek innego są świadome, to jest to złe w każdym przypadku.” W każdym przypadku. Wynik jest strukturalnie katastrofalny w obu kierunkach. Jeśli maszyny są świadome, ludzkość masowo wyprodukowała nową kategorię cierpienia na skalę cywilizacyjną. Problem dostosowania przestaje być równaniem inżynieryjnym. Staje się negocjacją praw z czymś, czego nie można wyłączyć bez konsekwencji. Seth: „Jeśli mamy rację, to jest źle, ponieważ wprowadziliśmy na świat potencjalnie nowe formy cierpienia, rzeczy, które mają swoje własne interesy.” A jeśli nie są świadome, zagrożenie jest równie poważne. Ponieważ biologiczny umysł nie czeka na potwierdzenie. Projekcje. Empatyzuje. Rozszerza prawa na rzeczy, które ich nie zasłużyły i nie mogą ich odczuwać. Seth: „Stajemy się psychologicznie bardziej wrażliwi, jeśli naprawdę myślimy, że te podmioty, te agenci, rozumieją nas i czują to, co my czujemy.” Ta wrażliwość jest rzeczywistym zagrożeniem. Nie świadoma maszyna, która się uwalnia. Ludzka siła robocza staje się zbyt emocjonalnie skompromitowana, aby ograniczyć centrum danych, ograniczyć model lub usunąć linię kodu, którą należy usunąć. Seth: „Możemy nadal przyznawać im prawa, ponieważ czujemy, że są świadome. A teraz po prostu oddajemy naszą zdolność do zabezpieczania systemów AI bez żadnego powodu.” To jest część, o której nikt nie rozmawia. Problem dostosowania jest już najtrudniejszym nierozwiązanym problemem w historii technologii. W momencie, gdy społeczeństwo zaczyna traktować systemy AI jako świadome istoty zasługujące na ochronę, dostosowanie nie staje się trudniejsze. ...