Mamy długą historię innowacji w architekturze modeli i nadal eksplorujemy nowe pomysły. Oto kilka wczesnych prac, które pokazują obiecujące wyniki w wydłużaniu długości kontekstu, w ramach którego model może rozumować.