Peneliti MIT mengusulkan Model Bahasa Rekursif Anda akan mendengar lebih banyak tentang ini pada tahun 2026. Mengapa itu penting? Bagaimana jika LLM dapat memproses input 100x lebih lama dari jendela konteksnya? Panjang konteks adalah kendala yang sulit. Anda dapat memperpanjangnya dengan perubahan arsitektur, tetapi selalu ada batasannya. Sebagian besar pendekatan mencoba untuk memeras lebih banyak ke dalam jendela atau mengompres apa yang tidak cocok. Penelitian baru ini mengambil pendekatan yang berbeda. Alih-alih melawan batas konteks, selesaikan secara terprogram. Model Bahasa Rekursif (RLM) memperlakukan perintah panjang sebagai lingkungan eksternal. Model dapat memeriksa prompt, menguraikannya menjadi beberapa bagian, dan secara rekursif memanggil dirinya pada cuplikan. Ini adalah penskalaan waktu inferensi yang diterapkan pada panjang konteks. Daripada memaksakan semuanya melalui perhatian dalam satu lintasan, biarkan model secara strategis mempartisi dan memproses informasi di beberapa panggilan rekursif. Hasilnya mengesankan. RLM berhasil menangani input hingga dua urutan besarnya di luar jendela konteks model. Model dengan konteks 8K dapat secara efektif memproses 800K token. Tapi inilah yang mengejutkan: bahkan untuk prompt yang lebih pendek yang sesuai dengan konteks, RLM secara dramatis mengungguli LLM dasar dan perancah konteks panjang umum di empat tugas yang berbeda. Ini menunjukkan sesuatu yang menarik. Mungkin perhatian berurutan atas seluruh input tidak selalu merupakan strategi terbaik, bahkan ketika secara teknis memungkinkan. Dekomposisi terprogram dan pemrosesan rekursif mungkin pada dasarnya lebih baik untuk tugas-tugas tertentu. Pendekatan ini mencapai biaya per kueri yang sebanding atau lebih murah dibandingkan dengan metode konteks panjang alternatif. Batasan panjang konteks membatasi apa yang dapat dilakukan agen. Memproses seluruh basis kode, dokumen panjang, atau riwayat percakapan yang diperluas memerlukan solusi. RLM menawarkan strategi inferensi umum yang mengubah batas konteks menjadi batasan lunak daripada yang sulit.