RT, aby pomohla Simonovi zvýšit povědomí o rychlých injekčních útocích v LLM. Vypadá to trochu jako divoký západ raných počítačů, s počítačovými viry (nyní = škodlivé výzvy skrývající se ve webových datech/nástrojích) a ne dobře vyvinutou obranou (antivirem nebo mnohem rozvinutějším paradigmatem zabezpečení jádra/uživatelského prostoru, kde např. agent dostává velmi specifické typy akcí místo schopnosti spouštět libovolné bash skripty). Rozporuplný, protože chci být prvním osvojitelem LLM agentů ve svých osobních počítačích, ale divoký západ možností mě drží zpátky.

Měl bych objasnit, že riziko je nejvyšší, pokud provozujete místní agenty LLM (např. Cursor, Claude Code atd.). Pokud právě mluvíte s LLM na webové stránce (např. ChatGPT), riziko je mnohem nižší, *pokud nezačnete zapínat konektory. Například jsem právě viděl, že ChatGPT přidává podporu MCP. To se bude obzvláště špatně kombinovat se všemi nedávno přidanými paměťovými funkcemi – např. představte si, že ChatGPT řekne vše, co o vás ví, nějakému útočníkovi na internetu jen proto, že jste zaškrtli špatné políčko v nastavení konektorů.