RoPE es fundamentalmente defectuoso. Este documento muestra que RoPE confunde "qué" es un token con "dónde" está, por lo que el modelo no puede razonar de manera confiable sobre posiciones relativas independientemente de la identidad del token. Por ejemplo, la noción efectiva de "3 tokens a la izquierda" depende sutilmente de qué letras están involucradas, por lo que preguntar "¿qué letra está 3 a la izquierda de Z en una secuencia 'ABSCOPZG'?" se vuelve más difícil de lo que debería ser porque la regla posicional en sí misma se desplaza con el contenido. Así que este documento propone PoPE, que le da al modelo una regla posicional fija al codificar dónde están los tokens independientemente de qué son, permitiendo que el "contenido" solo controle la fuerza de coincidencia mientras que "posición" controla la distancia por sí sola. Con PoPE logrando un 95% de precisión mientras que RoPE se quedaría en un 11% en la tarea de Indexación Indirecta.