У нас есть долгая история инноваций в архитектуре моделей, и мы продолжаем исследовать новые идеи. Вот некоторые ранние работы, которые показывают многообещающие результаты по увеличению длины контекста, на котором модель может рассуждать.