Wenn Sie "KI-Agenten" (LLMs, die Tools aufrufen) verwenden, müssen Sie sich der tödlichen Dreifaltigkeit bewusst sein. Jedes Mal, wenn Sie den Zugriff auf private Daten mit der Exposition gegenüber untrusted Inhalten und der Fähigkeit zur externen Kommunikation kombinieren, kann ein Angreifer das System dazu bringen, Ihre Daten zu stehlen!

Hier ist meine vollständige Erklärung, warum diese Kombination so gefährlich ist - wenn Sie MCP verwenden, müssen Sie besonders aufmerksam sein, da es sehr einfach ist, verschiedene MCP-Tools so zu kombinieren, dass Sie sich diesem Risiko aussetzen.

Und ja, das ist im Grunde genommen mein Versuch, die Welt dazu zu bringen, sich um Prompt-Injection zu kümmern, indem ich einen neuen Begriff für eine Teilmenge des Problems ausprobiere! Ich hoffe, das vermittelt das Risiko für Endbenutzer auf eine greifbarere Weise - besonders wichtig jetzt, da die Leute MCP mischen und anpassen.

@IanChen524 Das hängt sehr davon ab, welche Definition von "KI-Agent" du verwendest. Wenn du die gängige Definition "ein LLM, das Werkzeuge in einer Schleife ausführt" verwendest, dann zählt jedes LLM, das mindestens einen MCP aufruft, als "Agent". Welche Definition verwendest du?

@IanChen524 Wichtig ist, dass Sie nur vollständig vertrauenswürdige, gut konstruierte MCP-Server verwenden können und dennoch auf Angriffe zur Exfiltration privater Daten stoßen, wenn Sie die falsche Kombination von MCPs verwenden, die zusammen die drei Merkmale aufweisen.

@WolframRvnwlf Viele Menschen haben daran gearbeitet, und ich vertraue ihm nicht, aus ähnlichen Gründen, warum ich Antivirensoftware nicht vertraue: Sie schützt vor bekannten Bedrohungen, versagt jedoch beim Schutz gegen neue Schwachstellen, sodass sie immer von einem entsprechend motivierten Angreifer untergraben werden kann.

@WolframRvnwlf Ich möchte kein Antivirus, ich möchte, dass meine Software so sicher ist, dass Viren meinen Systemen nichts Schlechtes antun können!

... und @Atlassian ist das neueste Unternehmen, das meiner Sammlung von Beispielen für das tödliche Trifecta hinzugefügt wurde: Ihr neu veröffentlichtes MCP-Server wurde demonstriert, dass es Angriffe durch Eingabeaufforderungen in öffentlichen Problemen ermöglicht, um private Daten zu stehlen.

@convexDad Ich bin ein fester Gläubiger an dieses Prinzip, aus diesem Papier.