Impresionante encuesta sobre el razonamiento agente para LLMs. (guarda este) ¡Más de 135 páginas! ¿Por qué es importante? Los LLMs razonan bien en entornos de mundo cerrado, pero tienen dificultades en entornos abiertos y dinámicos donde la información evoluciona. La pieza que falta es la acción. Esto se debe a que el razonamiento estático sin interacción no puede adaptarse, aprender o mejorar a partir de la retroalimentación. Esta nueva encuesta sistematiza el paradigma del Razonamiento Agente, donde los LLMs se reconfiguran como agentes autónomos que planifican, actúan y aprenden a través de la interacción continua con su entorno. Proporciona una hoja de ruta unificada que conecta pensamientos y acciones, ofreciendo orientación práctica para construir sistemas agentes a través de dinámicas ambientales y configuraciones de optimización. El marco organiza el razonamiento agente a lo largo de tres dimensiones complementarias: 1. Razonamiento Agente Fundamental: Capacidades centrales de un solo agente que incluyen planificación, uso de herramientas y búsqueda. Los agentes descomponen objetivos, invocan herramientas externas y verifican resultados a través de acciones ejecutables. Esta es la base. 2. Razonamiento Agente Auto-Evolutivo: Cómo los agentes mejoran a través de la retroalimentación, la memoria y la adaptación. En lugar de seguir caminos de razonamiento fijos, los agentes desarrollan mecanismos para la reflexión, la crítica y el aprendizaje impulsado por la memoria. Reflexión, RL-para-memoria y adaptación continua vinculan el razonamiento con el aprendizaje. 3. Razonamiento Colectivo Multi-Agente: Escalando la inteligencia de solucionadores aislados a ecosistemas colaborativos. Múltiples agentes se coordinan a través de la asignación de roles, protocolos de comunicación y memoria compartida. Debate, resolución de desacuerdos y consistencia a través de interacciones de múltiples turnos. A través de todas las capas, la encuesta distingue dos modos de optimización: razonamiento en contexto (escalando el cómputo en tiempo de inferencia a través de orquestación y búsqueda sin actualizaciones de parámetros) y razonamiento post-entrenamiento (internalizando estrategias a través de RL y ajuste fino). La encuesta cubre aplicaciones que abarcan exploración matemática, descubrimiento científico, robótica incorporada, atención médica e investigación web autónoma. También revisa el panorama de referencia para evaluar las capacidades agentes. He estado observando de cerca esta área de investigación, y aquí están algunos de los desafíos abiertos que permanecen: personalización, interacción a largo plazo, modelado del mundo, entrenamiento escalable de múltiples agentes y marcos de gobernanza para el despliegue en el mundo real. ...