RoPE est fondamentalement défectueux. Cet article montre que RoPE confond "ce qu'est" un jeton avec "où" il se trouve, de sorte que le modèle ne peut pas raisonnablement raisonner sur les positions relatives indépendamment de l'identité du jeton. Par exemple, la notion effective de "3 jetons à gauche" dépend subtilement des lettres impliquées, donc demander "quelle lettre est 3 à gauche de Z dans une séquence 'ABSCOPZG'" devient plus difficile qu'il ne devrait l'être parce que la règle de position elle-même se déplace avec le contenu. Ainsi, cet article propose PoPE, qui donne au modèle une règle de position fixe en encodant où se trouvent les jetons indépendamment de ce qu'ils sont, permettant à "contenu" de ne contrôler que la force de correspondance tandis que "position" contrôle seule la distance. Avec PoPE atteignant 95 % de précision tandis que RoPE serait bloqué à 11 % sur la tâche d'indexation indirecte.