Vi har en lång historia av innovationer inom modellarkitektur och fortsätter att utforska nya idéer. Här är tidigt arbete som visar lovande resultat för att förlänga den kontextlängd som en modell kan resonera över.