Cercetări noi antropice: Măsurarea autonomiei agenților AI în practică. Am analizat milioane de interacțiuni între Claude Code și API-ul nostru pentru a înțelege câtă autonomie acordă oamenii agenților, unde sunt implementați și ce riscuri pot reprezenta. Citește mai mult:

Agenții sunt deja implementați în contexte care variază de la trierea e-mailurilor până la cercetarea securității cibernetice. Înțelegerea acestui spectru este esențială pentru o implementare în siguranță, însă știm surprinzător de puține despre modul în care oamenii folosesc efectiv agenții în lumea reală.

Majoritatea virajelor Claude Code sunt scurte (mediana ~45 de secunde). Dar cele mai lungi viraje arată încotro se îndreaptă autonomia. În trei luni, durata turnului în percentila 99,9 aproape s-a dublat, de la sub 25 de minute la peste 45 de minute. Această creștere este lină pe parcursul lansărilor modelelor.

Pe măsură ce utilizatorii capătă experiență, strategia lor de supraveghere se schimbă. Utilizatorii noi aprobă fiecare acțiune individual. Până la 750 de sesiuni, peste 40% dintre sesiuni sunt complet aprobate automat.

Dar întreruperile cresc odată cu experiența. Utilizatorii noi întrerup Claude Code în 5% din ture, comparativ cu 9% pentru utilizatorii mai experimentați. Aceasta sugerează o trecere de la aprobarea fiecărei acțiuni la delegare și întrerupere atunci când este necesar.

Claude Code încurajează, de asemenea, supravegherea, oprindu-se pentru a pune întrebări. La sarcini complexe, Claude Code se oprește pentru clarificări de mai mult de două ori mai des decât întrerup oamenii. Antrenarea modelelor pentru a recunoaște incertitudinea este o proprietate importantă, subapreciată, a siguranței.

Majoritatea acțiunilor agenților pe API-ul nostru sunt cu risc scăzut. 73% dintre apelurile cu instrumente par să aibă un om în buclă, iar doar 0,8% sunt ireversibile. Dar la frontieră, vedem agenți acționând asupra sistemelor de securitate, tranzacțiilor financiare și implementărilor de producție (deși unele pot fi evaluări).

Ingineria software reprezintă ~50% din apelurile de instrumente agențice pe API-ul nostru, dar vedem o utilizare în creștere și în alte industrii. Pe măsură ce frontiera riscului și autonomiei se extinde, monitorizarea post-desfășurare devine esențială. Încurajăm alți dezvoltatori de modele să extindă această cercetare.

O lecție centrală a acestei lucrări este că autonomia este co-construită de model, utilizator și produs. Nu poate fi caracterizat pe deplin doar prin evaluările pre-desfășurare. Pentru detalii complete și recomandările noastre pentru dezvoltatori și factori de decizie, consultați blogul: