Vi har en lang historie med innovasjoner innen modellarkitektur, og vi fortsetter å utforske nye ideer. Her er noe tidlig arbeid som viser lovende resultater for å utvide kontekstlengden som en modell kan resonnere over.