RoPE er fundamentalt mangelfullt. Denne artikkelen viser at RoPE blander sammen «hva» en token er med «hvor» den er, så modellen kan ikke pålitelig resonnere om relative posisjoner uavhengig av tokenidentitet. F.eks. den effektive ideen om «3 brikker til venstre» avhenger subtilt av hvilke bokstaver som er involvert, så det blir vanskeligere å spørre «hvilken bokstav er 3 til venstre for Z i en sekvens 'ABSCOPZG'» fordi posisjonslinjalen selv skifter med innholdet. Så denne artikkelen foreslår PoPE, som gir modellen en fast posisjonslinjal ved å kode hvor tokens er uavhengige av hva de er, slik at "innhold" kun kan kontrollere styrken mens "posisjon" alene styrer avstand. Med PoPE som oppnår 95 % nøyaktighet, vil RoPE sitte fast på 11 % på indirekte indekseringsoppgave