Tekoälyn tietoturvan edistymisen mittaaminen on kysymys, jota moni pohtii. 1. Paras mittari on ansaitun palkkion määrä sekä jokin tapa mitata bugien vaikutusta. Jotkut palkkion tulostaulut perustuvat pisteisiin, kuten HackerOne; Toiset ovat maksupohjaisia, molemmat ovat hyödyllisiä. Jos työkalusi ei löydä reaaliaikaisia kriittisiä tai 0 päivää, se on hyödytön. 2. Rinnakkainen vertailu äskettäiseen auditointiin. Kuinka suuri prosenttiosuus kriittisistä / korkeista / keskikeskitasoista löytyi tekoälytyökalun toimesta? Älä käytä vanhaa, julkista repositoa, jossa on julkaistu auditointi, koska se on usein koulutussetissä. 3. Avoimet aineistot eivät ole tehokkaita vertailussa. Niillä on helppo testata maksimitasoa. Tätä näkee usein frontier-malleissa; Malli, jolla on paras vertailuarvo, ei välttämättä ole se, joka suoriutuu parhaiten. Minusta paras mittari on laadullinen. Aja se koodipohjalla, jossa tiedät olevan tunnettuja bugeja: pidätkö tekoälytyökalun havainnoista, pidätkö kirjoituksen laadusta? Paras työkalu tuottaa kirjoituksia, jotka näyttävät erottamattomilta manuaaliseen kertaukseen.