Cuando se lanzó RETRO, pensé que la recuperación era un gran problema para los LLMs, para reducir el número de parámetros mientras se aumenta la profundidad del conocimiento de los modelos. Me sorprendió que las empresas evitaran esa idea. Whale trae la Recuperación a la mesa: > Más notablemente, mientras se espera que el módulo de memoria ayude en la recuperación de conocimiento (por ejemplo, MMLU +3.4; CMMLU +4.0), observamos ganancias aún mayores en razonamiento general (por ejemplo, BBH +5.0; ARC-Challenge +3.7) y en los dominios de código/matemáticas (HumanEval +3.0; MATH +2.4). Los análisis mecanicistas revelan que Engram alivia las capas tempranas del backbone de la reconstrucción estática, profundizando efectivamente la red para un razonamiento complejo.