RoPE фундаментально недосконалий. У цій статті показано, що RoPE плутає «що» токена з «де» він знаходиться, тому модель не може надійно розмірковувати про відносні позиції незалежно від ідентичності токена. Наприклад. ефективне поняття «3 жетони ліворуч» тонко залежить від того, які літери задіяні, тому запитати «яка літера 3 ліворуч від Z у послідовності 'ABSCOPZG'» стає складнішим, ніж слід було б, оскільки сам позиційний лінійка змінюється разом із змістом. Тому ця стаття пропонує PoPE, який дає моделі фіксовану позиційну лінійку, кодуючи там, де токени незалежно від того, чим вони є, дозволяючи «вмісту» лише контролювати силу матчу, а «позиція» — лише відстань. PoPE досягає 95% точності, тоді як RoPE застрягає на 11% при завданнях непрямого індексування