Chúng tôi có một lịch sử dài về những đổi mới trong kiến trúc mô hình, và chúng tôi đang tiếp tục khám phá những ý tưởng mới. Đây là một số công việc ban đầu cho thấy kết quả hứa hẹn trong việc mở rộng độ dài ngữ cảnh mà một mô hình có thể lý luận.