Små modeller kan ha rätt av helt fel anledningar. Noggrannhetsmått visar att en modell svarade rätt. De berättar inte om resonemanget var rimligt. För autonoma agenter är denna distinktion avgörande. Denna nya forskning avslöjar en dold tillförlitlighetskris: 50–69 % av de rätta svaren från 7–9B-parametermodeller innehåller fundamentalt bristfälligt resonemang. Forskarna kallar detta för fenomenet "Rätt för fel skäl". Överväg en ekonomisk beräkning. Modellen svarar "12" rätt på "Vad är 15% av 80?" Men dess resonemang visar att den multiplicerats med 0,2 istället för 0,15. Utgången är rätt. Logiken är trasig. Vid utplacering hopar sådana dolda fel katastrofalt. Studien analyserade 10 734 resonemangsspår över Llama-3-8B, Mistral-7B och Qwen-2.5-7B på matematik, multi-hop QA och sunt förnuft-uppgifter. De introducerar Reasoning Integrity Score (RIS), ett processbaserat mått som utvärderar varje steg snarare än bara slutresultat. RAG förbättrar konsekvent resonemangsintegriteten med medelstora till stora effektstorlekar (Cohens d = 0,23–0,93). Den fungerar genom att tillhandahålla extern ställning som grundar beräkningar i återvunna bevis, vilket minskar beräkningsfel med 7,6 %. Men här är den överraskande upptäckten: självkritik och verifiering skadar aktivt prestandan (d = -0,14 till -0,33). Forskarna kallar detta för "pseudo-reflektion." Små modeller saknar genuin metakognitiv kapacitet. När de uppmanas att kritisera sitt resonemang reflekterar de egentligen inte. De genererar text som ser ut som en reflektion samtidigt som de hittar på trovärdiga men felaktiga motiveringar. För att möjliggöra utrullning destillerade de verifieringsfunktioner till en lättviktig neural klassificerare, som uppnådde 0,86 F1 med 100x hastighetsökning jämfört med LLM-domare. Detta gör realtidsbedömning av förtroende praktisk. Lärdomen här är att noggrannhet i sig är farligt otillräckligt för att använda små modellagenter. Processbaserad verifiering behöver bli ett standardsäkerhetslager. Papper: Lär dig att bygga effektiva AI-agenter i vår akademi: