We hebben een lange geschiedenis van innovaties in modelarchitectuur en we blijven nieuwe ideeën verkennen. Hier is wat vroeg werk dat veelbelovende resultaten laat zien over het verlengen van de contextlengte waarover een model kan redeneren.