Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🚨 Ця стаття пояснює, чому більшість демо-версій агентів не витримають реальних користувачів.
Як тільки ви додаєте інструменти, пам'ять і автономію, будь-який «захист за швидкістю» руйнується.
Цього разу — ні.
Більшість «захистів prompt injection» ламаються одразу після додавання агентів, інструментів або пам'яті.
У статті пропонується конвеєр безпеки з трьох агентів плюс четвертий агент-оцінювач. Кожен агент має фіксовану роль: генерацію, санітарію, виконання політики. Без суперечок. Жодних вібрацій. Просто багатошаровий захист. Кожен проміжний результат перевіряється, оцінюється та фіксується.
Справжній прорив — це вкладене навчання.
Замість того, щоб розглядати підказки як події без стану, кожен агент має Систему Континуумної Пам'яті з середньо- та довгостроковою пам'яттю. Підказки вбудовані та узгоджені семантично. Якщо нова атака виглядає так, ніби це було раніше, агент повторно використовує перевірену відповідь замість регенерації.
Це робить три речі одночасно.
1, охорона. У 301 реальній атаці prompt injection, що охоплюють 10 сімейств атак, система не досягла жодного високоризикового витоку. Не зниження ризику. Нуль.
2, спостережуваність. Вони вводять нову метрику під назвою OSR, яка вимірює, наскільки раціональна логіка безпеки виявляється під час аудитів. Парадоксально, але конфігурація з найбільшою прозорістю загалом показала найкращі результати.
3, сталий розвиток. Семантичне кешування скоротило виклики LLM на 41,6%, зменшивши затримку з ~9 секунд до 150 мс для кешованих шляхів. Менша кількість дзвінків означає нижчу вартість, менше енергоспоживання та менші викиди вуглецю без впливу на вагу моделі.
Висновок для більшості агентів-будівельників незручний.
Безпека не походить від хитрих підказок.
Вона походить з архітектури, пам'яті та дисципліни оцінки.
Це один із найчіткіших планів для виробничого, безпечного та сталого агентного ШІ.
Повний текст статті читайте тут:

Найкращі
Рейтинг
Вибране
