RoPE имеет фундаментальные недостатки. В этой статье показано, что RoPE смешивает "что" такое токен с "где" он находится, поэтому модель не может надежно рассуждать о относительных позициях независимо от идентичности токена. Например, эффективное понятие "3 токена влево" тонко зависит от того, какие буквы участвуют, поэтому вопрос "какая буква находится на 3 позиции влево от Z в последовательности 'ABSCOPZG'" становится сложнее, чем должно быть, потому что сама позиционная линейка смещается с содержимым. Поэтому в этой статье предлагается PoPE, который дает модели фиксированную позиционную линейку, кодируя, где токены находятся независимо от того, что они собой представляют, позволяя "содержимому" контролировать только силу совпадения, в то время как "позиция" контролирует расстояние. С PoPE достигается 95% точности, в то время как RoPE застревает на уровне 11% в задаче косвенной индексации.