Исследователи MIT предлагают Рекурсивные Языковые Модели Вы услышите об этом больше в 2026 году. Почему это важно? Что если LLM смогут обрабатывать входные данные в 100 раз длиннее их контекстного окна? Длина контекста — это жесткое ограничение. Вы можете увеличить его с помощью архитектурных изменений, но всегда есть предел. Большинство подходов пытаются впихнуть больше в окно или сжать то, что не помещается. Это новое исследование подходит к вопросу иначе. Вместо того чтобы бороться с ограничением контекста, обойти его программно. Рекурсивные Языковые Модели (RLM) рассматривают длинные подсказки как внешнюю среду. Модель может исследовать подсказку, разбирать её на части и рекурсивно вызывать саму себя на фрагментах. Это масштабирование во время вывода, применяемое к длине контекста. Вместо того чтобы заставлять всё проходить через внимание за один раз, позвольте модели стратегически разделять и обрабатывать информацию через несколько рекурсивных вызовов. Результаты впечатляют. RLM успешно обрабатывают входные данные до двух порядков величины, превышающих контекстные окна модели. Модель с контекстом 8K может эффективно обрабатывать 800K токенов. Но вот что удивительно: даже для более коротких подсказок, которые помещаются в контекст, RLM значительно превосходят базовые LLM и общие конструкции с длинным контекстом по четырем различным задачам. Это предполагает нечто интересное. Возможно, последовательное внимание ко всему входу не всегда является лучшей стратегией, даже когда это технически возможно. Программная декомпозиция и рекурсивная обработка могут быть принципиально лучше для определенных задач. Этот подход достигает сопоставимой или более низкой стоимости за запрос по сравнению с альтернативными методами длинного контекста. Ограничения длины контекста сдерживают то, что агенты могут делать. Обработка целых кодовых баз, длинных документов или расширенных историй разговоров требует обходных путей. RLM предлагают общую стратегию вывода, которая превращает ограничения контекста в мягкое ограничение, а не жесткое.