Când a fost lansat RETRO, am crezut că recuperarea este o problemă importantă pentru LLM-uri, pentru a reduce numărul de param-uri și a crește în același timp profunzimea cunoștințelor pentru modele. M-a surprins că firmele au evitat această idee. Whale aduce Retrieval la masă: > Cel mai notabil, deși modulul de memorie este așteptat să ajute la recuperarea cunoștințelor (de exemplu, MMLU +3.4; CMMLU +4,0), observăm câștiguri și mai mari în raționamentul general (de exemplu, BBH +5,0; ARC-Challenge +3.7) și domeniile de cod/matematică (HumanEval +3.0; MATH +2,4). Analizele mecaniciste arată că Engram eliberează straturile timpurii ale coloanei vertebrale de reconstrucția statică, adâncind eficient rețeaua pentru raționamente complexe.