El sistema de memoria de ChatGPT es muy excelente, pero el consumo de recursos del sistema de memoria suele ser bastante alto. ¿Cómo logra OpenAI que el sistema de memoria sirva a 800 millones de usuarios? Alguien ha realizado ingeniería inversa del sistema de memoria de ChatGPT y descubrió que el sistema de memoria de ChatGPT es mucho más simple de lo que se pensaba. No hay base de datos de vectores, ni se realiza RAG en los registros de chat. En cambio, utiliza cuatro niveles completamente diferentes: metadatos de conversación que se adaptan a tu entorno, factos explícitos almacenados a largo plazo, síntesis ligera de chats recientes, y una ventana deslizante de la conversación actual. Este blog desglosará en detalle cómo funciona cada nivel y por qué este enfoque puede ser superior a los sistemas de recuperación tradicionales.

Su núcleo es una pila de contexto de cuatro capas. Cada vez que hay una conversación, la IA construye este "sobre", inyectando toda la información clave sobre ti en el modelo de una sola vez. Está compuesta por cuatro niveles que trabajan en conjunto.

La primera capa son la información ambiental temporal, como tu dispositivo y ubicación, que desaparece al finalizar la sesión. La segunda capa es tu perfil personal permanente, que almacena los hechos clave que le pides que recuerde.

El tercer nivel es un "mapa suelto" de tus intereses recientes, que solo incluye un resumen de los títulos de las conversaciones, y no el texto completo. El nivel más bajo es el registro completo de la conversación actual, como una ventana deslizante, que garantiza la coherencia instantánea. ¿Qué pasará si la ventana se llena?

El significado de la ventana deslizante es que, incluso si la ventana de conversación actual "se desliza" debido a que se alcanza el límite de longitud y se eliminan los mensajes más antiguos, tu memoria permanente y el resumen de tus intereses recientes seguirán siendo retenidos. Esto asegura que, incluso en conversaciones largas, la IA no "olvidará" sobre ti.

Esta estructura de cuatro niveles es una victoria de la inteligencia de ingeniería. Logra un equilibrio perfecto entre personalización, rendimiento y costo computacional, proporcionando la mejor experiencia de usuario sin necesidad de los sistemas más complejos.