RoPE je zásadně chybný. Tento článek ukazuje, že RoPE plete "co" je token s "kde" se nachází, takže model nemůže spolehlivě uvažovat o relativních pozicích nezávisle na identitě tokenu. Např. efektivní pojem "3 žetony vlevo" jemně závisí na tom, která písmena jsou zapojena, takže otázka "které písmeno je 3 nalevo od Z v posloupnosti 'ABSCOPZG'" je obtížnější, než by mělo být, protože samotné polohové pravítko se s obsahem mění. Tento článek proto navrhuje PoPE, který modelu dává pevné polohové pravítko tím, že kóduje tam, kde jsou tokeny nezávislé na tom, co jsou, přičemž "obsah" ovládá pouze sílu zápasu, zatímco "pozice" pouze ovládá vzdálenost. PoPE dosahuje přesnosti 95 %, zatímco RoPE by zůstal na 11 % u úkolu nepřímého indexování