Survei yang mengesankan tentang penalaran agen untuk LLM. (tandai yang satu ini) 135+ halaman! Mengapa itu penting? LLM bernalar dengan baik dalam pengaturan dunia tertutup, tetapi mereka berjuang dalam lingkungan terbuka dan dinamis di mana informasi berkembang. Bagian yang hilang adalah aksi. Ini karena penalaran statis tanpa interaksi tidak dapat beradaptasi, belajar, atau meningkatkan dari umpan balik. Survei baru ini mensistematisasi paradigma Penalaran Agen, di mana LLM dibingkai ulang sebagai agen otonom yang merencanakan, bertindak, dan belajar melalui interaksi berkelanjutan dengan lingkungannya. Ini menyediakan peta jalan terpadu yang menjembatani pemikiran dan tindakan, menawarkan panduan yang dapat ditindaklanjuti untuk membangun sistem agen di seluruh dinamika lingkungan dan pengaturan pengoptimalan. Kerangka kerja ini mengatur penalaran agen di sepanjang tiga dimensi pelengkap: 1. Penalaran Agen Dasar: Kemampuan agen tunggal inti termasuk perencanaan, penggunaan alat, dan pencarian. Agen menguraikan sasaran, memanggil alat eksternal, dan memverifikasi hasil melalui tindakan yang dapat dieksekusi. Ini adalah batuan dasar. 2. Penalaran Agen yang Berkembang Sendiri: Bagaimana agen meningkat melalui umpan balik, memori, dan adaptasi. Alih-alih mengikuti jalur penalaran tetap, agen mengembangkan mekanisme untuk refleksi, kritik, dan pembelajaran berbasis memori. Refleksi, RL-untuk-memori, dan adaptasi berkelanjutan menghubungkan penalaran dengan pembelajaran. 3. Penalaran Multi-Agen Kolektif: Menskalakan kecerdasan dari pemecah terisolasi ke ekosistem kolaboratif. Beberapa agen berkoordinasi melalui penetapan peran, protokol komunikasi, dan memori bersama. Debat, penyelesaian perselisihan, dan konsistensi melalui interaksi multi-giliran. Di semua lapisan, survei ini membedakan dua mode pengoptimalan: penalaran dalam konteks (penskalaan komputasi waktu inferensi melalui orkestrasi dan pencarian tanpa pembaruan parameter) dan penalaran pasca-pelatihan (strategi internalisasi melalui RL dan penyetelan halus). Survei ini mencakup aplikasi yang mencakup eksplorasi matematika, penemuan ilmiah, robotika yang terkandung, perawatan kesehatan, dan penelitian web otonom. Ini juga meninjau lanskap tolok ukur untuk mengevaluasi kemampuan agen. Saya telah melihat dengan cermat bidang penelitian ini, dan berikut adalah beberapa tantangan terbuka yang tersisa: personalisasi, interaksi jangka panjang, pemodelan dunia, pelatihan multi-agen yang dapat diskalakan, dan kerangka kerja tata kelola untuk penerapan dunia nyata. ...