Nova pesquisa da Anthropic: Medindo a autonomia de agentes de IA na prática. Analisámos milhões de interações entre o Claude Code e a nossa API para entender quanta autonomia as pessoas concedem aos agentes, onde são implementados e quais riscos podem representar. Leia mais:

Os agentes já estão a ser implementados em contextos que vão desde a triagem de e-mails até à pesquisa em cibersegurança. Compreender este espectro é crítico para uma implementação segura, no entanto, sabemos surpreendentemente pouco sobre como as pessoas realmente usam agentes no mundo real.

A maioria das interações do Claude Code são curtas (mediana ~45 segundos). Mas as interações mais longas mostram para onde a autonomia está a ir. Em três meses, a duração das interações no percentil 99,9 quase dobrou, de menos de 25 minutos para mais de 45 minutos. Este crescimento é suave ao longo dos lançamentos do modelo.

À medida que os utilizadores ganham experiência, a sua estratégia de supervisão muda. Os novos utilizadores aprovam cada ação individualmente. Após 750 sessões, mais de 40% das sessões são totalmente aprovadas automaticamente.

Mas as interrupções também aumentam com a experiência. Novos utilizadores interrompem o Claude Code em 5% das vezes, em comparação com 9% para utilizadores mais experientes. Isto sugere uma mudança de aprovar cada ação para delegar e interromper quando necessário.

Claude Code também incentiva a supervisão ao parar para fazer perguntas. Em tarefas complexas, Claude Code pausa para esclarecimentos mais de duas vezes mais frequentemente do que os humanos o interrompem. Treinar modelos para reconhecer incertezas é uma propriedade de segurança importante e subestimada.

A maioria das ações dos agentes na nossa API são de baixo risco. 73% das chamadas de ferramentas parecem ter um humano no processo, e apenas 0,8% são irreversíveis. Mas na fronteira, vemos agentes atuando em sistemas de segurança, transações financeiras e implementações de produção (embora algumas possam ser avaliações).

A engenharia de software representa cerca de 50% das chamadas de ferramentas agentivas na nossa API, mas estamos a ver um uso emergente em outras indústrias. À medida que a fronteira do risco e da autonomia se expande, o monitoramento pós-implementação torna-se essencial. Incentivamos outros desenvolvedores de modelos a ampliar esta pesquisa.

Uma lição central deste trabalho é que a autonomia é co-construída pelo modelo, usuário e produto. Não pode ser totalmente caracterizada apenas por avaliações pré-implementação. Para mais detalhes e nossas recomendações para desenvolvedores e formuladores de políticas, consulte o blog: