Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🚨 Este artigo é a razão pela qual a maioria das demonstrações de agentes não sobreviverá a usuários reais.
Uma vez que você adiciona ferramentas, memória e autonomia, toda "defesa de prompt" quebra.
Esta não quebra.
A maioria das "defesas contra injeção de prompt" falha no momento em que você adiciona agentes, ferramentas ou memória.
O artigo propõe um pipeline de segurança com três agentes mais um quarto agente avaliador. Cada agente tem um papel fixo: geração, sanitização, aplicação de políticas. Sem debates. Sem vibrações. Apenas defesa em camadas. Cada saída intermediária é inspecionada, pontuada e registrada.
A verdadeira inovação é o Aprendizado Aninhado.
Em vez de tratar os prompts como eventos sem estado, cada agente possui um Sistema de Memória Contínua com memória de médio e longo prazo. Os prompts são incorporados e correspondidos semanticamente. Se um novo ataque se parecer com algo visto antes, o agente reutiliza uma resposta verificada em vez de regenerar uma nova.
Isso faz três coisas ao mesmo tempo.
1, segurança. Em 301 ataques reais de injeção de prompt abrangendo 10 famílias de ataque, o sistema alcançou zero violações de alto risco. Não risco reduzido. Zero.
2, observabilidade. Eles introduzem uma nova métrica chamada OSR que mede quanto do raciocínio de segurança é exposto para auditorias. Contraintuitivamente, a configuração com mais transparência teve o melhor desempenho geral.
3, sustentabilidade. O cache semântico reduziu as chamadas de LLM em 41,6%, diminuindo a latência de ~9 segundos para 150ms para caminhos em cache. Menos chamadas significam menor custo, menor uso de energia e menores emissões de carbono sem tocar nos pesos do modelo.
A conclusão é desconfortável para a maioria dos construtores de agentes.
A segurança não vem de prompts engenhosos.
Vem da arquitetura, memória e disciplina de avaliação.
Este é um dos planos mais claros até agora para uma IA agente segura, sustentável e de qualidade de produção.
Leia o artigo completo aqui:

Top
Classificação
Favoritos
