Většina autonomních systémů dnes stále spoléhá na slepou důvěru. Věříme, že agenti budou: • Jednat podle záměru • Zůstat v mezích • Vyhýbat se škodlivému chování Ale důvěra bez vynucování se neškáluje, zvlášť u softwaru.

Slepá důvěra obvykle vypadá takto: • Široké API klíče • Dlouhotrvající kvalifikace • Implicitní oprávnění • Monitorování po faktu Když se něco pokazí, lidé zasáhnou až poté, co je škoda způsobena. To je reaktivní, ne bezpečná autonomie.

Jak se agenti stávají schopnějšími, slepá důvěra je rizikovější. Více inteligence znamená: • Širší akční prostor • Rychlejší provedení • Větší poloměr výbuchu Bez pevných limitů se jediná chyba může šířit okamžitě.

Programovatelná omezení mění model. Místo důvěry v úmysl systémy vynucují pravidla: • Co může agent udělat • Kolik může utratit • Když pravomoc vyprší • Které akce vyžadují eskalaci Omezení jsou vykonávána kódem, nikoli politikou.

To posouvá bezpečnost z lidského úsudku na infrastrukturu. Omezení mohou být: • Scoped (pouze specifické akce) • Časově omezené (omezené na relaci) • Omezené rozpočtem (stropy výdajů) • Automaticky odvolatelné Žádné předpoklady. Žádné hádání.

Důležité je, že programovatelná omezení neomezují autonomii. Umožňují to. Když agenti pracují v rámci vynucených hranic, mohou jednat nezávisle bez neustálého dohledu nebo manuálního schvalování.

Důvěra se v tomto modelu stává ověřitelnou. Každá akce může být: • Autorizované • Kontrola omezení • Evidováno • Auditováno po provedení Důvěra už není sociální ani subjektivní, je prokazatelná.

Blind Trust se ptá: "Věříme, že se tento agent bude chovat slušně?" Programovatelná omezení se ptají: "Co může tento agent dělat?" Pouze jeden z těchto přístrojů se bezpečně pošplipá.

Budoucnost autonomních systémů nebude záviset na lepších slibech nebo přísnějších politikách. Bude to záviset na infrastruktuře, která standardně stanovuje limity. Proto je Kite postaven na programovatelných omezeních, ne na slepé důvěře 🪁