La RoPE es fundamentalmente defectuosa. Este artículo muestra que RoPE mezcla "qué" es un token con "dónde" está, por lo que el modelo no puede razonar de forma fiable sobre posiciones relativas independientemente de la identidad del token. Por ejemplo, la noción efectiva de "3 fichas a la izquierda" depende sutilmente de qué letras estén involucradas, por lo que preguntar "¿qué letra está 3 a la izquierda de Z en una secuencia 'ABSCOPZG'" se vuelve más difícil de lo que debería porque la regla posicional se desplaza con el contenido. Así que este artículo propone PoPE, que da al modelo una regla posicional fija mediante la codificación donde los tokens son independientes de lo que son, permitiendo que el "contenido" solo controle la intensidad de la coincidencia mientras que la "posición" controla la distancia. Con PoPE logrando un 95% de precisión mientras que RoPE se quedaría estancado en el 11% en la tarea de Indexación Indirecta