Hầu hết các hệ thống tự động ngày nay vẫn dựa vào sự tin tưởng mù quáng. Chúng ta tin rằng các tác nhân sẽ: • Hành động như mong muốn • Ở trong giới hạn • Tránh hành vi gây hại Nhưng sự tin tưởng mà không có sự thực thi thì không thể mở rộng, đặc biệt là đối với phần mềm.

Sự tin tưởng mù quáng thường trông như thế này: • Khóa API rộng • Thông tin xác thực lâu dài • Quyền hạn ngầm • Giám sát sau khi sự việc xảy ra Nếu có điều gì đó sai, con người sẽ can thiệp sau khi thiệt hại đã xảy ra. Điều đó là phản ứng, không phải là tự chủ an toàn.

Khi các tác nhân trở nên có khả năng hơn, sự tin tưởng mù quáng trở nên rủi ro hơn. Nhiều trí tuệ hơn có nghĩa là: • Không gian hành động rộng hơn • Thực hiện nhanh hơn • Bán kính tác động lớn hơn Nếu không có giới hạn cứng, một sai lầm duy nhất có thể lan truyền ngay lập tức.

Các ràng buộc có thể lập trình thay đổi mô hình. Thay vì tin tưởng vào ý định, các hệ thống thực thi các quy tắc: • Những gì một tác nhân có thể làm • Số tiền mà nó có thể chi tiêu • Khi nào quyền hạn hết hạn • Những hành động nào cần phải được nâng cấp Các ràng buộc được thực thi bằng mã, không phải chính sách.

Điều này chuyển giao sự an toàn từ phán đoán của con người sang cơ sở hạ tầng. Các ràng buộc có thể là: • Có phạm vi (chỉ các hành động cụ thể) • Giới hạn thời gian (giới hạn theo phiên) • Giới hạn ngân sách (giới hạn chi tiêu) • Có thể thu hồi tự động Không có giả định. Không có suy đoán.

Điều quan trọng là các ràng buộc có thể lập trình không làm giảm tính tự chủ. Chúng cho phép điều đó. Khi các tác nhân hoạt động trong các ranh giới được thực thi, họ có thể hành động độc lập mà không cần giám sát liên tục hoặc phê duyệt thủ công.

Niềm tin, trong mô hình này, trở nên có thể xác minh. Mỗi hành động có thể: • Được ủy quyền • Kiểm tra ràng buộc • Được ghi lại • Được kiểm toán sau khi thực hiện Niềm tin không còn là xã hội hay chủ quan, mà là có thể chứng minh.

Niềm tin mù quáng đặt ra câu hỏi: "Chúng ta có tin rằng tác nhân này sẽ hành xử đúng không?" Các ràng buộc có thể lập trình đặt ra câu hỏi: "Tác nhân này được phép làm gì?" Chỉ có một trong hai điều này có thể mở rộng một cách an toàn.

Tương lai của các hệ thống tự động sẽ không phụ thuộc vào những lời hứa tốt hơn hay các chính sách chặt chẽ hơn. Nó sẽ phụ thuộc vào cơ sở hạ tầng thực thi các giới hạn theo mặc định. Đó là lý do tại sao Kite được xây dựng xung quanh các ràng buộc có thể lập trình, chứ không phải sự tin tưởng mù quáng 🪁