Die meisten autonomen Systeme verlassen sich heute immer noch auf blinden Vertrauen. Wir vertrauen darauf, dass die Agenten: • Wie beabsichtigt handeln • Innerhalb der Grenzen bleiben • Schädliches Verhalten vermeiden Aber Vertrauen ohne Durchsetzung skaliert nicht, insbesondere nicht für Software.

Blindes Vertrauen sieht normalerweise so aus: • Breite API-Schlüssel • Langfristige Anmeldeinformationen • Implizite Berechtigungen • Nachträgliche Überwachung Wenn etwas schiefgeht, greifen Menschen ein, nachdem der Schaden angerichtet wurde. Das ist reaktiv, keine sichere Autonomie.

Je leistungsfähiger die Agenten werden, desto riskanter wird blinder Vertrauen. Mehr Intelligenz bedeutet: • Größerer Aktionsraum • Schnellere Ausführung • Größerer Explosionsradius Ohne harte Grenzen kann ein einziger Fehler sofort propagieren.

Programmable Einschränkungen ändern das Modell. Anstatt der Absicht zu vertrauen, setzen Systeme Regeln durch: • Was ein Agent tun kann • Wie viel er ausgeben kann • Wann die Autorität abläuft • Welche Aktionen eine Eskalation erfordern Einschränkungen werden durch Code und nicht durch Richtlinien ausgeführt.

Dies verlagert die Sicherheit von menschlichem Urteil auf die Infrastruktur. Einschränkungen können sein: • Eingeschränkt (nur spezifische Aktionen) • Zeitlich begrenzt (sessionspezifisch) • Budgetbeschränkt (Ausgabenobergrenzen) • Automatisch widerrufbar Keine Annahmen. Kein Rätselraten.

Wichtig ist, dass programmierbare Einschränkungen die Autonomie nicht verringern. Sie ermöglichen sie. Wenn Agenten innerhalb von durchgesetzten Grenzen operieren, können sie unabhängig handeln, ohne ständige Aufsicht oder manuelle Genehmigungen.

Vertrauen wird in diesem Modell überprüfbar. Jede Aktion kann: • Autorisiert • Auf Einschränkungen überprüft • Protokolliert • Nach der Ausführung geprüft werden Vertrauen ist nicht mehr sozial oder subjektiv, es ist beweisbar.

Blindes Vertrauen fragt: „Glauben wir, dass dieser Agent sich benehmen wird?“ Programmable Einschränkungen fragen: „Was darf dieser Agent tun?“ Nur eines dieser Konzepte ist sicher skalierbar.

Die Zukunft autonomer Systeme wird nicht von besseren Versprechungen oder strengeren Richtlinien abhängen. Sie wird von einer Infrastruktur abhängen, die standardmäßig Grenzen durchsetzt. Deshalb ist Kite um programmierbare Einschränkungen herum aufgebaut, nicht um blinden Vertrauen 🪁