Впечатляющий обзор агентного рассуждения для LLM. (закладка на этот) 135+ страниц! Почему это важно? LLM хорошо рассуждают в замкнутых условиях, но им трудно в открытых, динамичных средах, где информация меняется. Недостающий элемент — это действие. Это связано с тем, что статическое рассуждение без взаимодействия не может адаптироваться, учиться или улучшаться на основе обратной связи. Этот новый обзор систематизирует парадигму агентного рассуждения, где LLM переосмысляются как автономные агенты, которые планируют, действуют и учатся через постоянное взаимодействие с их окружением. Он предоставляет единый план, который связывает мысли и действия, предлагая практическое руководство для создания агентных систем в условиях динамики окружающей среды и оптимизации. Рамочная структура организует агентное рассуждение по трем взаимодополняющим измерениям: 1. Основное агентное рассуждение: основные возможности одного агента, включая планирование, использование инструментов и поиск. Агенты декомпозируют цели, вызывают внешние инструменты и проверяют результаты через исполняемые действия. Это основа. 2. Саморазвивающееся агентное рассуждение: как агенты улучшаются через обратную связь, память и адаптацию. Вместо того чтобы следовать фиксированным путям рассуждения, агенты разрабатывают механизмы для рефлексии, критики и обучения на основе памяти. Рефлексия, RL для памяти и постоянная адаптация связывают рассуждение с обучением. 3. Коллективное многоагентное рассуждение: масштабирование интеллекта от изолированных решателей до совместных экосистем. Несколько агентов координируются через распределение ролей, протоколы связи и общую память. Дебаты, разрешение разногласий и согласованность через многоходовые взаимодействия. На всех уровнях обзор различает два режима оптимизации: рассуждение в контексте (масштабирование вычислений во время вывода через оркестрацию и поиск без обновления параметров) и посттренировочное рассуждение (интернализация стратегий через RL и дообучение). Обзор охватывает приложения, охватывающие математическое исследование, научные открытия, воплощенные робототехнику, здравоохранение и автономные веб-исследования. Он также рассматривает ландшафт бенчмарков для оценки агентных возможностей. Я внимательно изучал эту область исследований, и вот некоторые из открытых проблем, которые остаются: персонализация, взаимодействие на длительном горизонте, моделирование мира, масштабируемое многоагентное обучение и рамки управления для развертывания в реальном мире. ...