Системы ИИ становятся умнее с каждым днем. Но интеллект сам по себе не делает систему надежной. На самом деле, чем более автономным становится агент, тем более опасным может быть непроверенный интеллект. 🧵

Интеллект отвечает на вопросы, такие как: • Может ли этот агент рассуждать? • Может ли он планировать? • Может ли он действовать эффективно? Доверие отвечает на совершенно другие вопросы: • Было ли ему разрешено действовать? • Остался ли он в рамках ограничений? • Могут ли его действия быть доказаны задним числом?

Высокоинтеллектуальный агент без защитных мер все равно может: • Превышать свои полномочия • Злоупотреблять разрешениями • Выполнять действия, которые никто не может проверить или объяснить Умное поведение не гарантирует ответственное поведение.

Вот почему доверие не может быть выведено только из результатов. Доверие должно быть заложено в систему через: • Проверяемую идентичность • Явные разрешения • Аудируемое выполнение Без этого интеллект становится непрозрачным — ненадежным.

Будущее автономных систем не будет определяться тем, насколько умны агенты. Оно будет определяться тем, насколько хорошо можно проверять, ограничивать и объяснять их действия. Это основа, на которой строит Kite 🪁