Temos uma longa história de inovações em arquitetura modelo e continuamos explorando novas ideias. Aqui está alguns trabalhos iniciais que mostram resultados promissores sobre a extensão do comprimento do contexto sobre o qual um modelo pode raciocinar.