Uno de los primeros agentes que construí era extremadamente sencillo: Recuperaba información de un almacén vectorial, la formateaba como HTML y la enviaba por correo electrónico al usuario. No puede ser más sencillo que esto, y aun así, este agente falló aproximadamente el 1% de las veces. Sin error. Sin aviso. Solo devolvía basura. Aquí está la dura verdad: Los agentes fracasan mucho. Y fracasan en silencio. Todo el rato. Simplemente no puedes confiar en que un LLM haga lo correcto cada vez. A estas alturas, he creado y desplegado un par de docenas de agentes, y aquí están algunas de las cosas que realmente funcionan: 1. Observabilidad desde el primer día. Si no puedes ver lo que hace tu agente, no puedes depurarlo, mejorarlo ni confiar en él. Cada agente debe producir trazas que muestren el flujo completo de solicitudes, las interacciones con modelos, el uso de tokens y los metadatos de temporización. 2. Guardabarreras en entradas y salidas. Todo lo que entra y sale de un LLM debería comprobarse mediante código determinista. Incluso cosas que no es probable que se rompan, acabarán rompiéndose. 3. Evaluación de LLM como juez. Puedes crear un juez sencillo usando un LLM para evaluar automáticamente los resultados de tu agente. Etiqueta un conjunto de datos, escribe el enunciado de evaluación y itera hasta que tu juez detecte la mayoría de los fallos. 4. Análisis de errores. Puedes recopilar muestras de fallo, categorizarlas y diagnosticar los errores más frecuentes. 5. Ingeniería de contexto. A menudo, los agentes fallan porque su contexto es ruidoso, sobrecargado o irrelevante. Aprender a mantener el contexto relevante es fundamental. 6. Bucles de retroalimentación humana. A veces, la mejor barrera es tener un humano en el bucle, especialmente en decisiones de alto riesgo.