Các nhà nghiên cứu MIT đề xuất Mô hình Ngôn ngữ Đệ quy Bạn sẽ nghe thêm về điều này vào năm 2026. Tại sao điều này lại quan trọng? Điều gì sẽ xảy ra nếu LLM có thể xử lý các đầu vào dài gấp 100 lần cửa sổ ngữ cảnh của chúng? Độ dài ngữ cảnh là một ràng buộc cứng. Bạn có thể mở rộng nó bằng cách thay đổi kiến trúc, nhưng luôn có một giới hạn. Hầu hết các phương pháp cố gắng nhồi nhét nhiều hơn vào cửa sổ hoặc nén những gì không vừa. Nghiên cứu mới này tiếp cận theo một cách khác. Thay vì chống lại giới hạn ngữ cảnh, hãy làm việc xung quanh nó một cách lập trình. Mô hình Ngôn ngữ Đệ quy (RLM) coi các lời nhắc dài như một môi trường bên ngoài. Mô hình có thể xem xét lời nhắc, phân tích nó thành các phần, và gọi lại chính nó một cách đệ quy trên các đoạn. Đây là việc mở rộng quy mô trong thời gian suy diễn áp dụng cho độ dài ngữ cảnh. Thay vì buộc mọi thứ đi qua sự chú ý trong một lần, hãy để mô hình phân chia và xử lý thông tin một cách chiến lược qua nhiều lần gọi đệ quy. Kết quả thật ấn tượng. RLM xử lý thành công các đầu vào lên đến hai bậc độ lớn vượt xa cửa sổ ngữ cảnh của mô hình. Một mô hình với ngữ cảnh 8K có thể xử lý hiệu quả 800K token. Nhưng điều bất ngờ là: ngay cả với các lời nhắc ngắn hơn vừa vặn trong ngữ cảnh, RLM cũng vượt trội hơn nhiều so với các LLM cơ bản và các khung ngữ cảnh dài thông thường trong bốn nhiệm vụ đa dạng. Điều này gợi ý một điều thú vị. Có thể sự chú ý tuần tự trên toàn bộ đầu vào không phải lúc nào cũng là chiến lược tốt nhất, ngay cả khi về mặt kỹ thuật là có thể. Phân tích lập trình và xử lý đệ quy có thể tốt hơn về cơ bản cho một số nhiệm vụ nhất định. Cách tiếp cận này đạt được chi phí tương đương hoặc rẻ hơn cho mỗi truy vấn so với các phương pháp ngữ cảnh dài thay thế. Giới hạn độ dài ngữ cảnh ràng buộc những gì các tác nhân có thể làm. Việc xử lý toàn bộ mã nguồn, tài liệu dài, hoặc lịch sử cuộc trò chuyện kéo dài đòi hỏi các giải pháp thay thế. RLM cung cấp một chiến lược suy diễn tổng quát biến giới hạn ngữ cảnh thành một ràng buộc mềm thay vì một ràng buộc cứng.