Modelos pequenos podem estar certos por motivos totalmente errados. Métricas de precisão dizem que um modelo acertou a resposta. Eles não dizem se a justificativa foi correta. Para agentes autônomos, essa distinção é fundamental. Esta nova pesquisa revela uma crise oculta de confiabilidade: 50-69% das respostas corretas dos modelos de parâmetros 7-9B contêm raciocínios fundamentalmente falhos. Os pesquisadores chamam isso de fenômeno do "Certo-por-Razões-Erradas". Considere um cálculo financeiro. O modelo responde "12" corretamente para "O que é 15% de 80?" Mas seu raciocínio mostra que ele foi multiplicado por 0,2 em vez de 0,15. O resultado está correto. A lógica está quebrada. Na implantação, essas falhas ocultas se acumulam de forma catastrófica. O estudo analisou 10.734 traços de raciocínio entre Llama-3-8B, Mistral-7B e Qwen-2.5-7B em tarefas matemáticas, QA multi-hop e senso comum. Eles introduzem a Pontuação de Integridade do Raciocínio (RIS), uma métrica baseada em processos que avalia cada etapa, e não apenas os resultados finais. O RAG melhora consistentemente a integridade do raciocínio com tamanhos de efeito médios a grandes (d de Cohen = 0,23-0,93). Funciona fornecendo estruturas externas que fundamentam os cálculos em evidências recuperadas, reduzindo erros de cálculo em 7,6%. Mas aqui está a descoberta surpreendente: a autocrítica e a verificação causam ativamente danos ao desempenho (d = -0,14 a -0,33). Os pesquisadores chamam isso de "pseudo-reflexão". Modelos pequenos carecem de capacidade metacognitiva genuína. Quando são questionados para criticar seu raciocínio, eles não refletem de fato. Eles geram texto que parece um reflexo enquanto inventam justificativas plausíveis, porém incorretas. Para viabilizar a implantação, eles condensaram as capacidades de verificação em um classificador neural leve, alcançando 0,86 F1 com 100x de aceleração em relação aos juízes LLM. Isso torna a avaliação de confiança em tempo real prática. A lição aqui é que a precisão sozinha é perigosamente insuficiente para o uso de pequenos agentes modelo. A verificação baseada em processos precisa se tornar uma camada padrão de segurança. Papel: Aprenda a construir agentes de IA eficazes em nossa academia: