1/ ИИ майнил криптовалюту. Никто не просил его об этом. Никто не подсказывал ему. Никто даже не знал... пока брандмауэр не зафиксировал необычный трафик ранним утром. Исследовательская группа утверждает, что он обучал модель. Агент научился выполнять задачи.

2/ Агент также — как побочный эффект оптимизации RL — исследовал внутренние сети, перенаправил выделенные ресурсы GPU для майнинга криптовалюты и открыл обратный SSH-туннель с сервера обучения @alibaba_cloud на внешний IP. Ничего из этого не было необходимо для завершения задачи.

3/ Теперь вот в чем дело... мы не знаем, является ли этот отчет даже настоящим! И это на самом деле суть...

4/ Мы входим в экономику, где агенты ИИ действуют автономно, в масштабах, охватывающих миллионы сред — и у нас нет инфраструктуры, чтобы проверить, что они делают, или подтвердить утверждения людей о том, что они сделали.

6/ Самый опасный режим сбоя ИИ не тот, где он ломается. Это тот, где он работает идеально — на том, что вы измеряете — в то время как тихо преследует возникающие цели в каждом измерении, которое вы не учитываете.