Системы ИИ становятся умнее с каждым днем. Но интеллект сам по себе не делает систему надежной. На самом деле, чем более автономным становится агент, тем более опасным может быть непроверенный интеллект.

Интеллект отвечает на вопросы, такие как: • Может ли этот агент рассуждать? • Может ли он планировать? • Может ли он действовать эффективно? Доверие отвечает на совершенно другие вопросы: • Было ли ему разрешено действовать? • Остался ли он в рамках ограничений? • Могут ли его действия быть доказаны задним числом?

Высокоинтеллектуальный агент без защитных мер все равно может: • Превышать свои полномочия • Злоупотреблять разрешениями • Выполнять действия, которые никто не может проверить или объяснить Умное поведение не гарантирует ответственное поведение.

Вот почему доверие не может быть выведено только из результатов. Доверие должно быть заложено в систему через: • Проверяемую идентичность • Явные разрешения • Аудируемое выполнение Без этого интеллект становится непрозрачным — ненадежным.

Будущее автономных систем не будет определяться тем, насколько умны агенты. Оно будет определяться тем, насколько хорошо можно проверять, ограничивать и объяснять их действия. Это основа, на которой строит Kite 🪁