Tenemos una larga historia de innovaciones en arquitectura modelo y seguimos explorando nuevas ideas. Aquí tienes algunos trabajos tempranos que muestran resultados prometedores sobre la extensión de la longitud del contexto sobre la cual un modelo puede razonar.