Wir haben eine lange Geschichte von Innovationen in der Modellarchitektur und setzen unsere Erkundungen neuer Ideen fort. Hier sind einige frühe Arbeiten, die vielversprechende Ergebnisse bei der Erweiterung der Kontextlänge zeigen, über die ein Modell nachdenken kann.