Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🚨 Эта статья объясняет, почему большинство демонстраций агентов не выживут с реальными пользователями.
Как только вы добавляете инструменты, память и автономию, каждая "защита от подсказок" ломается.
Эта не ломается.
Большинство "защит от инъекций подсказок" ломаются в тот момент, когда вы добавляете агентов, инструменты или память.
Статья предлагает трехагентный защитный конвейер плюс четвертого оценщика-агента. Каждый агент имеет фиксированную роль: генерация, очистка, соблюдение политики. Никаких дебатов. Никаких настроений. Просто многоуровневая защита. Каждый промежуточный вывод проверяется, оценивается и регистрируется.
Настоящий прорыв — это Углубленное Обучение.
Вместо того чтобы рассматривать подсказки как статeless события, каждый агент имеет Систему Памяти Континуума со среднесрочной и долгосрочной памятью. Подсказки встраиваются и сопоставляются семантически. Если новая атака выглядит как что-то, что уже было, агент использует проверенный ответ вместо того, чтобы генерировать новый.
Это делает три вещи одновременно.
1, безопасность. На основе 301 реальной атаки инъекции подсказок, охватывающей 10 семейств атак, система достигла нуля высокорисковых нарушений. Не сниженный риск. Ноль.
2, наблюдаемость. Они вводят новую метрику под названием OSR, которая измеряет, насколько много рассуждений о безопасности открыто для аудитов. Напротив ожиданий, конфигурация с наибольшей прозрачностью показала лучшие результаты в целом.
3, устойчивость. Семантическое кэширование сократило вызовы LLM на 41,6%, снизив задержку с ~9 секунд до 150 мс для кэшированных путей. Меньше вызовов означает более низкие затраты, меньшее потребление энергии и меньшие выбросы углерода без изменения весов модели.
Выводы неудобны для большинства строителей агентов.
Безопасность не приходит от хитрых подсказок.
Она приходит от архитектуры, памяти и дисциплины оценки.
Это один из самых четких планов для производственного, безопасного и устойчивого агентного ИИ.

Топ
Рейтинг
Избранное
