La mayoría de los sistemas autónomos hoy en día todavía dependen de la confianza ciega. Confiamos en que los agentes: • Actúen como se pretende • Se mantengan dentro de los límites • Eviten comportamientos dañinos Pero la confianza sin enforcement no escala, especialmente para el software.

La confianza ciega suele verse así: • Claves API amplias • Credenciales de larga duración • Permisos implícitos • Monitoreo posterior a los hechos Si algo sale mal, los humanos intervienen después de que se ha causado el daño. Eso es reactivo, no una autonomía segura.

A medida que los agentes se vuelven más capaces, la confianza ciega se vuelve más arriesgada. Más inteligencia significa: • Mayor espacio de acción • Ejecución más rápida • Mayor radio de explosión Sin límites estrictos, un solo error puede propagarse instantáneamente.

Las restricciones programables cambian el modelo. En lugar de confiar en la intención, los sistemas imponen reglas: • Lo que un agente puede hacer • Cuánto puede gastar • Cuándo expira la autoridad • Qué acciones requieren escalación Las restricciones se ejecutan mediante código, no mediante políticas.

Esto traslada la seguridad del juicio humano a la infraestructura. Las restricciones pueden ser: • Alcanzadas (solo acciones específicas) • Limitadas en el tiempo (sesiones limitadas) • Limitadas por presupuesto (límites de gasto) • Revocables automáticamente Sin suposiciones. Sin conjeturas.

Es importante destacar que las restricciones programables no reducen la autonomía. La habilitan. Cuando los agentes operan dentro de límites impuestos, pueden actuar de manera independiente sin supervisión constante ni aprobaciones manuales.

La confianza, en este modelo, se vuelve verificable. Cada acción puede ser: • Autorizada • Verificada por restricciones • Registrada • Auditada después de la ejecución La confianza ya no es social o subjetiva, es demostrable.

La confianza ciega pregunta: “¿Creemos que este agente se comportará?” Las restricciones programables preguntan: “¿Qué se le permite hacer a este agente?” Solo uno de estos escalas de manera segura.

El futuro de los sistemas autónomos no dependerá de mejores promesas o políticas más estrictas. Dependerá de una infraestructura que imponga límites por defecto. Por eso Kite está construido en torno a restricciones programables, no a una confianza ciega 🪁