RoPE jest zasadniczo wadliwy. Niniejszy artykuł pokazuje, że RoPE myli „co” to jest token z „gdzie” on się znajduje, więc model nie może niezawodnie rozumieć względnych pozycji niezależnie od tożsamości tokenu. Np. skuteczna koncepcja „3 tokeny w lewo” subtelnie zależy od tego, które litery są zaangażowane, więc pytanie „jaka litera jest 3 w lewo od Z w sekwencji 'ABSCOPZG'” staje się trudniejsze, niż powinno być, ponieważ sam linijki pozycyjne przesuwają się wraz z treścią. Dlatego ten artykuł proponuje PoPE, który daje modelowi stałą linijkę pozycyjną, kodując, gdzie tokeny się znajdują niezależnie od tego, co one są, pozwalając „treści” kontrolować tylko siłę dopasowania, podczas gdy „pozycja” sama kontroluje odległość. Z PoPE osiągającym 95% dokładności, podczas gdy RoPE utknąłby na poziomie 11% w zadaniu Indirect Indexing.