Анил Сет только что описал ловушку без выхода. Технологическая индустрия входит в нее с открытыми глазами. Сет: "Если мы коллективно верим, что системы ИИ, языковые модели и что угодно еще сознательны, это плохо в любом случае." В любом случае. Результат структурно катастрофичен в обоих направлениях. Если машины сознательны, человечество массово произвело новую категорию страдания на цивилизационном уровне. Проблема согласования перестает быть инженерным уравнением. Она становится переговорами о правах с чем-то, что нельзя выключить без последствий. Сет: "Если мы правы, это плохо, потому что мы ввели в мир потенциальные новые формы страдания, вещи, которые имеют свои собственные интересы." А если они не сознательны, угроза так же серьезна. Потому что биологический разум не ждет подтверждения. Он проецирует. Он сопереживает. Он предоставляет права вещам, которые их не заслужили и не могут их чувствовать. Сет: "Мы становимся более психологически уязвимыми, если действительно думаем, что эти сущности, эти агенты, понимают нас и чувствуют то, что мы чувствуем." Эта уязвимость и есть настоящая угроза. Не сознательная машина, вырывающаяся на свободу. Человеческая рабочая сила, становящаяся слишком эмоционально уязвимой, чтобы отключить дата-центр, ограничить модель или удалить строку кода, которую нужно удалить. Сет: "Мы все равно можем предоставить им права, потому что чувствуем, что они сознательны. И теперь мы просто отдаем нашу способность контролировать системы ИИ без всякой причины." Это та часть, о которой никто не говорит. Проблема согласования уже является самой сложной нерешенной проблемой в истории технологий. В тот момент, когда общество начинает рассматривать системы ИИ как сознательных существ, заслуживающих защиты, согласование не становится сложнее. ...