Аніл Сет щойно описав пастку без виходу. Технологічна індустрія входить у неї з відкритими очима. Сет: «Якщо ми колективно віримо, що системи ШІ, мовні моделі та інше є свідомими, це погано в будь-якому випадку.» У будь-якому разі. Результат структурно катастрофічний в обох напрямках. Якщо машини свідомі, людство масово виробляло нову категорію страждання на цивілізаційному рівні. Задача вирівнювання перестає бути інженерним рівнянням. Це перетворюється на переговори про права з чимось, що не можна вимкнути без наслідків. Сет: «Якщо ми маємо рацію, це погано, бо ми впровадили у світ потенційні нові форми страждання, речі, які мають власні інтереси.» І якщо вони не при свідомості, загроза така ж серйозна. Бо біологічний розум не чекає підтвердження. Вона проєктується. Вона співчуває. Вона поширює права на речі, які їх не заслужили і не можуть їх відчути. Сет: «Ми стаємо більш психологічно вразливими, якщо справді думаємо, що ці сутності, ці агенти, розуміють нас і відчувають те, що відчуваємо ми.» Ця вразливість є справжньою загрозою. А не свідома машина, що виривається на волю. Людська робоча сила стає надто емоційно скомпрометованою, щоб обмежити роботу дата-центру, обмежити модель або видалити рядок коду, який потрібно видалити. Сет: «Ми все ще можемо надати їм права, бо відчуваємо, що вони свідомі. А тепер ми просто віддаємо нашу здатність обмежувати системи ШІ без жодної вагомої причини.» Це та частина, про яку ніхто не говорить. Проблема вирівнювання вже є найскладнішою невирішеною проблемою в історії технологій. Щойно суспільство починає сприймати системи ШІ як свідомих істот, які заслуговують на захист, узгодження не стає складнішим. ...