Ingeniería de contexto, claramente explicada (con imágenes): (una guía ilustrada a continuación)

Entonces, ¿qué es la ingeniería de contexto? Es el arte y la ciencia de entregar la información adecuada, en el formato adecuado, en el momento adecuado, para tu LLM. Aquí tienes una cita de Andrej Karpathy sobre la ingeniería del contexto... 👇

Para entender la ingeniería del contexto, es esencial primero comprender el significado del contexto. Los agentes hoy en día han evolucionado hasta convertirse en mucho más que simples chatbots. El gráfico siguiente resume los 6 tipos de contextos que un agente necesita para funcionar correctamente. Mira esto 👇

A estas alturas, deberías saber que no basta con simplemente "avisar" a los agentes. Debes diseñar la entrada (contexto). Piénsalo así: 🧠 LLM = CPU 💾 Ventana de contexto = RAM Básicamente estás programando la "RAM" con las instrucciones perfectas para tu IA. continuado... 👇

¿Entonces, cómo lo hacemos? La ingeniería del contexto puede dividirse en 4 etapas fundamentales: - Contexto de escritura - Selección de contexto - Comprimir el contexto - Contexto aislante Vamos a entenderlo uno por uno... 👇

1️⃣ Contexto de escritura: Escribir contexto significa guardarlo fuera de la ventana de contexto para ayudar a un agente a realizar una tarea. Puedes hacerlo escribiéndola a: - Memoria a largo plazo (persiste entre sesiones) - Memoria a corto plazo (persiste dentro de la sesión) - Un objeto de estado Mira esto👇

2️⃣ Lee contexto: Leer el contexto significa incorporarlo a la ventana de contexto para ayudar a un agente a realizar una tarea. Ahora este contexto puede extraerse de: - Una herramienta -Memoria - Base de conocimiento (docs, vector DB) Mira esto👇

3️⃣ Comprimir el contexto Comprimir el contexto significa mantener solo los tokens necesarios para una tarea. El contexto recuperado puede contener información duplicada o redundante (llamadas a herramientas de varios turnos), lo que conlleva tokens adicionales y un coste incrementado. Un resumen contextual ayuda aquí. Mira esto👇

4️⃣ Contexto aislante Aislar el contexto implica dividirlo para ayudar a un agente a realizar una tarea. Algunas formas populares de hacerlo son: - Utilizar múltiples agentes (o subagentes), cada uno con su propio contexto - Uso de un entorno sandbox para almacenamiento y ejecución de código - Y usando un objeto de estado Mira esto👇

Para resumir, te dejo con el gráfico de ingeniería del contexto. Además, aquí tienes una pila de código abierto para ingeniería de contexto: - Memoria: @zep_ai - Base de conocimiento: @milvusio - Orquestación de agentes: @crewAIInc - Observabilidad y trazado: @deepeval