Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Modelos pequenos podem estar certos por razões completamente erradas.
Métricas de precisão dizem que um modelo obteve a resposta correta. Elas não dizem se o raciocínio foi sólido. Para agentes autônomos, essa distinção é crítica.
Esta nova pesquisa revela uma crise de confiabilidade oculta: 50-69% das respostas corretas de modelos com 7-9B de parâmetros contêm raciocínios fundamentalmente falhos. Os pesquisadores chamam isso de fenômeno "Certo por Razões Erradas".
Considere um cálculo financeiro. O modelo responde "12" corretamente para "Qual é 15% de 80?" Mas seu raciocínio mostra que multiplicou por 0.2 em vez de 0.15. A saída está certa. A lógica está quebrada. Na implementação, tais falhas ocultas se acumulam de forma catastrófica.
O estudo analisou 10.734 rastros de raciocínio em Llama-3-8B, Mistral-7B e Qwen-2.5-7B em tarefas de matemática, QA de múltiplas etapas e senso comum. Eles introduzem o Índice de Integridade do Raciocínio (RIS), uma métrica baseada em processos que avalia cada passo em vez de apenas as saídas finais.
RAG melhora consistentemente a integridade do raciocínio com tamanhos de efeito médio a grande (d de Cohen = 0.23-0.93). Funciona fornecendo uma estrutura externa que fundamenta os cálculos em evidências recuperadas, reduzindo erros de cálculo em 7.6%.
Mas aqui está a descoberta surpreendente: prompts de auto-crítica e verificação prejudicam ativamente o desempenho (d = -0.14 a -0.33). Os pesquisadores chamam isso de "pseudo-reflexão". Modelos pequenos carecem de capacidade meta-cognitiva genuína. Quando solicitados a criticar seu raciocínio, eles não refletem de fato. Eles geram texto que parece uma reflexão enquanto inventam justificativas plausíveis, mas incorretas.
Para permitir a implementação, eles destilaram capacidades de verificação em um classificador neural leve, alcançando 0.86 F1 com aceleração de 100x em relação a juízes LLM. Isso torna a avaliação de confiança em tempo real prática.
A lição aqui é que a precisão sozinha é perigosamente insuficiente para implantar agentes de modelos pequenos. A verificação baseada em processos precisa se tornar uma camada de segurança padrão.
Artigo:
Aprenda a construir agentes de IA eficazes em nossa academia:

Top
Classificação
Favoritos
