Medir o progresso da segurança da IA é uma questão que muitas pessoas estão a perguntar. 1. A melhor medida é a quantidade de recompensas ganhas, juntamente com alguma forma de medir o impacto dos bugs. Alguns quadros de líderes de recompensas são baseados em pontos, como o HackerOne; outros são baseados em pagamentos, ambos são úteis. Se a sua ferramenta não consegue encontrar críticos ao vivo ou 0 days, é inútil. 2. Comparação lado a lado com uma auditoria recente. Que % de Críticos / Altos / Médios foram encontrados pela ferramenta de IA? Não use um repositório público antigo com uma auditoria publicada porque muitas vezes está no conjunto de treino. 3. Conjuntos de dados abertos não são eficazes para benchmarking. É fácil fazer benchmarking máximo com esses. Você vê isso muito com modelos de fronteira; o modelo com o melhor benchmark não é necessariamente o que se sai melhor. Pessoalmente, acho que a melhor medida é qualitativa. Execute-o em uma base de código que você sabe que tem bugs conhecidos: você gosta das descobertas que vê da ferramenta de IA, você gosta da qualidade do relatório? A melhor ferramenta produzirá relatórios que parecem indistinguíveis de uma revisão manual.