Podemos usar transcrições de agentes para entender as capacidades🤔 dos agentes? Acontece que talvez transcrições de agentes de codificação possam aumentar nosso ganho de produtividade com a IA. Mais sobre minha pesquisa mais recente @METR_Evals em 🧵

Fator de economia de tempo = (tempo sem IA) / (tempo com IA) nas tarefas contidas nas transcrições Eu estimo o tempo sem IA com um juiz de LLM, e calculo o tempo com IA olhando se há uma mensagem digitada por um humano a cada janela de 10 minutos, depois somo todas as janelas ativas.

No entanto, isso superestima o verdadeiro aumento da produtividade em muitos aspectos! !️ 1. As pessoas usam IAs em tarefas de baixo valor que normalmente não fariam. Chamamos de tarefas Cadillac 2. Fazemos muitas tarefas sem IA e usamos IA apenas em tarefas onde esperam que ela seja útil

3. O juiz de LLM tende a superestimar quanto tempo alguém levaria para fazer a mesma tarefa sem IA devido a a) especialização de trabalhadores, b) capacidade limitada de detectar tarefas fracassadas, c) sobrecarga induzida por agentes, d) progresso desfeito entre históricos, etc

Curiosamente, também acho que o fator economizar tempo está correlacionado com o número de agentes com quem as pessoas trabalham em paralelo. Isso sugere que estudos futuros de elevação e transcrição devem levar adequadamente em conta a concorrência dos agentes.