RoPE is fundamenteel flawed. Dit paper toont aan dat RoPE "wat" een token is verwart met "waar" het is, waardoor het model niet betrouwbaar kan redeneren over relatieve posities onafhankelijk van tokenidentiteit. Bijv. het effectieve begrip van "3 tokens naar links" hangt subtiel af van welke letters betrokken zijn, waardoor de vraag "welke letter is 3 naar links van Z in een reeks 'ABSCOPZG' " moeilijker wordt dan het zou moeten zijn, omdat de positionele liniaal zelf verschuift met de inhoud. Dus dit paper stelt PoPE voor, dat het model een vaste positionele liniaal geeft door te coderen waar tokens zijn onafhankelijk van wat ze zijn, waardoor "inhoud" alleen de matchsterkte controleert terwijl "positie" alleen de afstand controleert. Met PoPE die 95% nauwkeurigheid behaalt terwijl RoPE vast zou zitten op 11% bij de Indirect Indexing-taak.