قياس تقدم أمان الذكاء الاصطناعي هو سؤال يطرحه الكثيرون. 1. أفضل مقياس هو مقدار المكافأة التي تم الحصول عليها، مع طريقة لقياس تأثير الحشرات. بعض لوحات المتصدرين تعتمد على النقاط مثل HackerOne؛ وأخرى تعتمد على الدفع، وكلاهما مفيد. إذا لم تستطع أداتك العثور على الضربات الحرجة الحية أو 0 أيام، فهي عديمة الفائدة. 2. مقارنة جنبا إلى جنب مع تدقيق حديث. ما هي نسبة الضربات الحرجة / عالية / المتوسطة التي تم اكتشافها بواسطة أداة الذكاء الاصطناعي؟ لا تستخدم مستودع قديم عام مع تدقيق منشور لأنه غالبا ما يكون ضمن مجموعة التدريب. 3. مجموعات البيانات المفتوحة غير فعالة في المقارنة المرجعية. من السهل قياس الحد الأقصى بهذه العناصر. ترى ذلك كثيرا مع نماذج الحدود؛ النموذج الذي يحمل أفضل معيار ليس بالضرورة هو الذي يقدم الأفضل. شخصيا أعتقد أن أفضل مقياس هو النوعي. شغل اللعبة على قاعدة كود تعرف أن بها أخطاء معروفة: هل أعجبك النتائج التي تراها من أداة الذكاء الاصطناعي، هل تحب جودة الكتابة؟ أفضل أداة هي كتابة مقال يبدو غير مميز في المراجعة اليدوية.