У нас довга історія інновацій у архітектурі моделей, і ми продовжуємо досліджувати нові ідеї. Ось деякі ранні роботи, які демонструють обнадійливі результати щодо розширення довжини контексту, над якою модель може міркувати.