我们在模型架构创新方面有着悠久的历史，并且我们正在继续探索新的想法。这里有一些早期的工作，显示出在扩展模型可以推理的上下文长度方面的良好结果。