Tenemos una larga historia de innovaciones en la arquitectura de modelos, y seguimos explorando nuevas ideas. Aquí hay algunos trabajos iniciales que muestran resultados prometedores sobre la extensión de la longitud del contexto sobre el cual un modelo puede razonar.