我們在模型架構創新方面有著悠久的歷史，並且我們持續探索新的想法。這裡有一些早期的工作，顯示出在擴展模型可以推理的上下文長度方面的良好結果。