Các hệ thống AI đang ngày càng thông minh hơn mỗi ngày. Nhưng chỉ có trí tuệ thôi thì không đủ để làm cho một hệ thống trở nên đáng tin cậy. Thực tế, càng tự động hóa một tác nhân, thì trí tuệ chưa được xác minh càng có thể trở nên nguy hiểm. 🧵

Trí tuệ trả lời các câu hỏi như: • Liệu tác nhân này có thể lý luận không? • Nó có thể lập kế hoạch không? • Nó có thể hành động hiệu quả không? Niềm tin trả lời những câu hỏi hoàn toàn khác: • Nó có được phép hành động không? • Nó có ở trong giới hạn không? • Hành động của nó có thể được chứng minh sau khi sự việc xảy ra không?

Một tác nhân thông minh cao mà không có biện pháp bảo vệ vẫn có thể: • Vượt quá quyền hạn của nó • Lạm dụng quyền truy cập • Thực hiện các hành động mà không ai có thể kiểm tra hoặc giải thích Hành vi thông minh không đảm bảo hành vi có trách nhiệm.

Đây là lý do tại sao niềm tin không thể được suy ra chỉ từ kết quả. Niềm tin phải được thiết kế vào hệ thống thông qua: • Danh tính có thể xác minh • Quyền hạn rõ ràng • Thực thi có thể kiểm toán Nếu không có những điều này, trí tuệ trở nên mờ mịt — không đáng tin cậy.

Tương lai của các hệ thống tự động sẽ không được xác định bởi độ thông minh của các tác nhân. Nó sẽ được xác định bởi khả năng xác minh, hạn chế và giải thích hành động của chúng. Đó là nền tảng mà Kite đang xây dựng 🪁