Sebagian besar sistem otonom saat ini masih mengandalkan kepercayaan buta. Kami percaya bahwa agen akan: • Bertindak sebagaimana mestinya • Tetap dalam batas • Hindari perilaku berbahaya Tetapi kepercayaan tanpa penegakan tidak berskala, terutama untuk perangkat lunak.

Kepercayaan buta biasanya terlihat seperti ini: • Kunci API yang luas • Kredensial berumur panjang • Izin implisit • Pemantauan setelah fakta Jika terjadi kesalahan, manusia turun tangan setelah kerusakan terjadi. Itu reaktif, bukan otonomi yang aman.

Ketika agen menjadi lebih mampu, kepercayaan buta menjadi lebih berisiko. Lebih banyak kecerdasan berarti: • Ruang aksi yang lebih luas • Eksekusi lebih cepat • Radius ledakan yang lebih besar Tanpa batas keras, satu kesalahan dapat menyebar secara instan.

Batasan yang dapat diprogram mengubah model. Alih-alih mempercayai niat, sistem menegakkan aturan: • Apa yang dapat dilakukan agen • Berapa banyak yang bisa dibelanjakan • Ketika otoritas kedaluwarsa • Tindakan mana yang memerlukan eskalasi Batasan dijalankan dengan kode, bukan kebijakan.

Ini mengalihkan keselamatan dari penilaian manusia ke infrastruktur. Kendala dapat berupa: • Cakupan (hanya tindakan tertentu) • Terikat waktu (terbatas sesi) • Anggaran terbatas (batas pengeluaran) • Dapat dibatalkan secara otomatis Tidak ada asumsi. Tidak ada dugaan.

Yang penting, batasan yang dapat diprogram tidak mengurangi otonomi. Mereka mengaktifkannya. Ketika agen beroperasi dalam batas-batas yang diberlakukan, mereka dapat bertindak secara independen tanpa pengawasan konstan atau persetujuan manual.

Kepercayaan, dalam model ini, menjadi dapat diverifikasi. Setiap tindakan dapat berupa: • Resmi • Diperiksa batasan • Tercatat • Diaudit setelah eksekusi Kepercayaan tidak lagi sosial atau subjektif, itu dapat dibuktikan.

Kepercayaan buta bertanya: "Apakah kami percaya agen ini akan berperilaku?" Kendala yang dapat diprogram bertanya: "Apa yang diizinkan dilakukan agen ini?" Hanya satu dari skala ini dengan aman.

Masa depan sistem otonom tidak akan bergantung pada janji yang lebih baik atau kebijakan yang lebih ketat. Ini akan tergantung pada infrastruktur yang memberlakukan batas secara default. Itu sebabnya Kite dibangun di sekitar batasan yang dapat diprogram, bukan kepercayaan 🪁 buta