Я занимаюсь ИИ (машинным обучением тогда...) с 2007 года. Изучал машинное обучение в США, прочитал большинство книг, слушал все подкасты. Ничто не шокировало меня так, как недавняя книга и интервью Романа Ямпольского. 🧵

его мнение редкое и глубокое: создание искусственного суперинтеллекта (ASI) не просто рискованно, это практически гарантированное вымирание.

возможности решены (вычисления + данные = более умный ИИ). безопасность не решена. и разрыв между ними растет с каждым днем.

рынки предсказаний + лидеры лабораторий говорят, что AGI может появиться к 2027 году. Суперинтеллект, вероятно, последует автоматически. Мы не готовы.

Роман предсказывает не 10% безработицы, а почти полную (>99%+). Как когнитивный, так и физический труд будут заменены. Переобучение не поможет, если все рабочие места подлежат автоматизации.

«ограничители» — это временные решения. более умные системы обходят их. отключение? фантазия. вы не отключаете что-то, что умнее вас, это отключает вас.

Риск вымирания даже не требует ИИ. Биотехнологии с поддержкой ИИ могут дать одному злонамеренному лицу инструменты для причинения вреда на уровне цивилизации.

динамика гонок нарушена: как только asi включен, не имеет значения, кто его создал. обе стороны проигрывают.

звонок Романа: приостановите asi. оставьте узкий ИИ для реальных проблем. прекратите гоняться за "божественными" системами, которые мы не можем согласовать или контролировать.