私たちは長いモデルアーキテクチャの革新の歴史を持ち、新しいアイデアを探求し続けています。 モデルが推論できるコンテキストの長さを拡張するという有望な成果を示す初期の研究例を紹介します。