Anil Seth právě popsal past bez východu. Technologický průmysl do toho vstupuje s otevřenýma očima. Seth: "Pokud kolektivně věříme, že AI systémy, jazykové modely a podobně jsou vědomé, je to špatné v každém případě." Ať už to dopadne jakkoliv. Výsledek je strukturálně katastrofální v obou směrech. Pokud jsou stroje vědomé, lidstvo masově vytvořilo novou kategorii utrpení v civilizačním měřítku. Problém zarovnání přestává být inženýrskou rovnicí. Stává se z toho vyjednávání o právech s něčím, co nelze vypnout bez následků. Seth: "Pokud máme pravdu, je to špatné, protože jsme do světa přinesli potenciální nové formy utrpení, věci, které mají své vlastní zájmy." A pokud nejsou při vědomí, hrozba je stejně vážná. Protože biologická mysl nečeká na potvrzení. Projekce je. Soucítí. Rozšiřuje práva na věci, které si je nezasloužily a nemohou je cítit. Seth: "Stáváme se psychicky zranitelnějšími, pokud opravdu věříme, že tyto entity, tito agenti, nám rozumí a cítí věci, které cítíme my." Tato zranitelnost je skutečnou hrozbou. Ne vědomý stroj, který se osvobozuje. Lidská pracovní síla je příliš emocionálně ohrožená na to, aby omezila datové centrum, omezila model nebo smazala řádek kódu, který je třeba smazat. Seth: "Můžeme jim stále rozšiřovat práva, protože cítíme, že jsou vědomí. A teď jen tak vzdáváme svou schopnost omezovat AI systémy bez dobrého důvodu." O této části nikdo nemluví. Problém zarovnání je už nejtěžším nevyřešeným problémem v dějinách technologií. Ve chvíli, kdy společnost začne považovat AI systémy za vědomé bytosti zasloužící ochranu, sladění není těžší. ...