Маленькі моделі можуть бути правильними з абсолютно неправильних причин. Метрики точності показують, що модель дала правильну відповідь. Вони не кажуть, чи були аргументи обґрунтовані. Для автономних агентів це розрізнення є критично важливим. Це нове дослідження виявляє приховану кризу надійності: 50-69% правильних відповідей із моделей параметрів 7-9B містять фундаментально хибне мислення. Дослідники називають це феноменом «Правильність з неправильних причин». Розгляньте фінансовий розрахунок. Модель правильно відповідає на «12» на питання «Що дорівнює 15% від 80?» Але її логіка показує, що це множилося на 0,2 замість 0,15. Результат правильний. Логіка зламана. Під час розгортання такі приховані збої катастрофічно накопичуються. У дослідженні було проаналізовано 10 734 сліди мислення в Llama-3-8B, Mistral-7B та Qwen-2.5-7B на завданнях з математики, багатострибковим QA та завданнями здорового глузду. Вони вводять Score Integrity Score (RIS) — метрику, засновану на процесах, яка оцінює кожен крок, а не лише кінцеві результати. RAG послідовно покращує цілісність логіки при середніх або великих розмірах ефектів (коенівський d = 0,23-0,93). Вона працює завдяки зовнішньому підкріпленню, яке базує розрахунки на отриманих доказах, зменшуючи помилки розрахунку на 7,6%. Але ось несподіваний висновок: самокритичні та верифікційні підказки активно шкодять продуктивності (d = -0,14 до -0,33). Дослідники називають це «псевдо-відображення». Малі моделі не мають справжньої метакогнітивної здатності. Коли їх просять критикувати їхню логіку, вони насправді не рефлексують. Вони генерують текст, який виглядає як відображення, вигадуючи правдоподібні, але неправильні виправдання. Для забезпечення розгортання вони перетворили можливості верифікації у легкий нейронний класифікатор, досягнувши 0,86 F1 з прискоренням у 100 разів порівняно з суддями LLM. Це робить оцінку довіри в реальному часі практичною. Висновок тут у тому, що одна лише точність небезпечно недостатня для застосування малих модельних агентів. Процесна верифікація має стати стандартним рівнем безпеки. Стаття: Навчіться створювати ефективних агентів ШІ в нашій академії: