Máme dlouhou historii inovací v modelové architektuře a stále zkoumáme nové nápady. Zde je několik raných prací, které ukazují slibné výsledky v rozšiřování délky kontextu, nad kterou může model uvažovat.