RoPE on pohjimmiltaan puutteellinen. Tämä artikkeli osoittaa, että RoPE sekoittaa "mitä" token on ja "missä" se on, joten malli ei pysty luotettavasti päättelemään suhteellisista asemista riippumatta tokenin identiteetistä. Esim. käytännössä käsite "3 merkkiä vasemmalle" riippuu hienovaraisesti siitä, mitkä kirjaimet ovat mukana, joten kysymys "mikä kirjain on 3 vasemmalla Z:stä jonossa 'ABSCOPZG'" muuttuu vaikeammaksi kuin pitäisi, koska asemaviivain muuttuu sisällön mukaan. Tämä artikkeli ehdottaa PoPE:ta, joka antaa mallille kiinteän sijaintiviivaimen koodaamalla paikan, jossa tokenit ovat riippumattomia siitä, mitä ne ovat, antaen "sisällön" ohjata vain ottelun voimaa ja pelkkä "sijainti" etäisyyttä. PoPE saavuttaa 95 % tarkkuuden, kun taas RoPE jäisi jumiin 11 %:iin epäsuorassa indeksointitehtävässä