Bài báo này từ BMW Group và viện nghiên cứu hàng đầu của Hàn Quốc phơi bày một điểm mù mà hầu hết các doanh nghiệp sử dụng LLMs đang đi thẳng vào. Chúng ta cứ nói về "sự căn chỉnh" như thể đó là một công tắc an toàn phổ quát. Nhưng không phải vậy. Bài báo giới thiệu COMPASS, một khung công tác cho thấy tại sao hầu hết các hệ thống AI thất bại không phải vì chúng không an toàn, mà vì chúng không phù hợp với tổ chức triển khai chúng. Dưới đây là cái nhìn cốt lõi. LLMs thường được đánh giá dựa trên các chính sách chung: quy tắc an toàn nền tảng, hướng dẫn đạo đức trừu tượng, hoặc từ chối theo kiểu chuẩn mực. Nhưng các công ty thực sự không hoạt động dựa trên các quy tắc chung. Chúng hoạt động dựa trên các chính sách nội bộ: - sổ tay tuân thủ - sách hướng dẫn hoạt động - quy trình leo thang - các trường hợp pháp lý đặc thù - các ràng buộc cụ thể của thương hiệu Và những quy tắc này thì lộn xộn, chồng chéo, có điều kiện và đầy ngoại lệ. COMPASS được xây dựng để kiểm tra xem một mô hình có thể hoạt động bên trong sự lộn xộn đó hay không. Không phải xem nó có biết ngôn ngữ chính sách hay không, mà là xem nó có thể áp dụng chính sách đúng, trong bối cảnh đúng, vì lý do đúng hay không. Khung công tác đánh giá các mô hình dựa trên bốn điều mà các chuẩn mực điển hình thường bỏ qua: ...