RoPE pada dasarnya cacat. Makalah ini menunjukkan bahwa RoPE mencampuradukkan "apa" token dengan "di mana" itu, sehingga model tidak dapat secara andal bernalar tentang posisi relatif terlepas dari identitas token. Misalnya. gagasan efektif "3 token ke kiri" secara halus tergantung pada huruf mana yang terlibat, jadi menanyakan "huruf apa yang 3 di sebelah kiri Z dalam urutan 'ABSCOPZG' " menjadi lebih sulit dari yang seharusnya karena penguasa posisi itu sendiri bergeser dengan konten. Jadi makalah ini mengusulkan PoPE, yang memberikan model penggaris posisi tetap dengan mengkodekan di mana token tidak bergantung pada apa adanya, membiarkan "konten" hanya mengontrol kekuatan pertandingan sementara "posisi" saja mengontrol jarak. Dengan PoPE mencapai akurasi 95% sementara RoPE akan macet pada 11% pada tugas Pengindeksan Tidak Langsung