Đo lường tiến độ bảo mật AI là một câu hỏi mà nhiều người đang đặt ra. 1. Biện pháp tốt nhất là số tiền thưởng kiếm được, cùng với một cách nào đó để đo lường tác động của các lỗi. Một số bảng xếp hạng tiền thưởng dựa trên điểm như HackerOne; những cái khác dựa trên khoản thanh toán, cả hai đều hữu ích. Nếu công cụ của bạn không thể tìm thấy các lỗi nghiêm trọng hoặc 0 ngày còn sống, nó là vô dụng. 2. So sánh song song với một cuộc kiểm toán gần đây. % của các lỗi nghiêm trọng / cao / trung bình được tìm thấy bởi công cụ AI là bao nhiêu? Đừng sử dụng một kho mã cũ, công khai với một cuộc kiểm toán đã công bố vì nó thường nằm trong bộ dữ liệu huấn luyện. 3. Các bộ dữ liệu mở không hiệu quả cho việc chuẩn hóa. Thật dễ dàng để chuẩn hóa tối đa với những cái đó. Bạn thấy điều đó rất nhiều với các mô hình tiên tiến; mô hình có chuẩn hóa tốt nhất không nhất thiết là mô hình hoạt động tốt nhất. Cá nhân tôi nghĩ rằng biện pháp tốt nhất là định tính. Chạy nó trên một mã nguồn mà bạn biết có các lỗi đã biết: bạn có thích những phát hiện mà bạn thấy từ công cụ AI không, bạn có thích chất lượng của bản tường trình không? Công cụ tốt nhất sẽ tạo ra bản tường trình trông không khác gì so với một cuộc đánh giá thủ công.