RoPE ist grundsätzlich fehlerhaft. Dieses Papier zeigt, dass RoPE "was" ein Token ist, mit "wo" es sich befindet, vermischt, sodass das Modell nicht zuverlässig über relative Positionen unabhängig von der Identität des Tokens nachdenken kann. Zum Beispiel hängt die effektive Vorstellung von "3 Tokens nach links" subtil davon ab, welche Buchstaben beteiligt sind, sodass die Frage "Welcher Buchstabe ist 3 nach links von Z in einer Sequenz 'ABSCOPZG'?" schwieriger wird, als sie sein sollte, weil das Positionsmaß selbst mit dem Inhalt verschiebt. Dieses Papier schlägt also PoPE vor, das dem Modell ein festes Positionsmaß gibt, indem es kodiert, wo Tokens unabhängig davon sind, was sie sind, und "Inhalt" nur die Übereinstimmungsstärke steuert, während "Position" allein die Distanz kontrolliert. Mit PoPE, das 95% Genauigkeit erreicht, während RoPE bei 11% im Indirect Indexing-Aufgaben stecken bleibt.