Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🚨 Tento článek je důvodem, proč většina ukázek agentů nepřežije skutečné uživatele.
Jakmile přidáte nástroje, paměť a autonomii, každá "promptová obrana" se rozpadne.
Tahle ne.
Většina "obran proti prompt injection" se rozpadne ve chvíli, kdy přidáte agenty, nástroje nebo paměť.
Článek navrhuje tříagentní bezpečnostní pipeline plus čtvrtého hodnotitele. Každý agent má pevně danou roli: generování, sanitace, vymáhání politik. Žádné debaty. Žádné vibrace. Jen vrstvená obrana. Každý mezivýstup je kontrolován, hodnocen a zaznamenáván.
Skutečným průlomem je vnořené učení.
Místo toho, aby se prompty považovaly za bezstavové události, má každý agent systém kontinuální paměti se střednědobou a dlouhodobou pamětí. Prompty jsou semanticky vloženy a sémanticky párovány. Pokud nový útok vypadá jako něco, co už bylo vidět, agent znovu použije ověřenou odpověď místo jejího znovugenerování.
To dělá tři věci najednou.
1, bezpečnost. Ve 301 skutečných útokech prompt injection v 10 rodinách útoků systém nedosáhl žádného vysoce rizikového průniku. Ne snížené riziko. Nula.
2, pozorovatelnost. Zavádějí novou metriku nazvanou OSR, která měří, kolik bezpečnostního uvažování je při auditech vystaveno. Paradoksalně nejlepší výsledek byla celkově konfigurace s největší průhledností.
3, udržitelnost. Sémantická cache snížila volání LLM o 41,6 %, což snížilo latenci z ~9 sekund na 150 ms u cacheovaných cest. Méně hovorů znamená nižší náklady, nižší spotřebu energie a nižší emise uhlíku, aniž by se dotklo hmotnosti modelu.
Závěr je pro většinu stavitelů makléřů nepříjemný.
Bezpečnost nevzniká z chytrých promptů.
Vychází z architektury, paměti a disciplíny hodnocení.
Jedná se o jeden z nejjasnějších plánů pro produkční, bezpečnou a udržitelnou agentickou AI.
Celý článek si můžete přečíst zde:

Top
Hodnocení
Oblíbené
