RoPE về cơ bản là có vấn đề. Bài báo này chỉ ra rằng RoPE nhầm lẫn giữa "cái gì" là một token với "nơi nào" nó ở, vì vậy mô hình không thể lý luận một cách đáng tin cậy về các vị trí tương đối độc lập với danh tính của token. Ví dụ, khái niệm hiệu quả của "3 token bên trái" phụ thuộc tinh tế vào các chữ cái liên quan, vì vậy việc hỏi "chữ cái nào nằm 3 bên trái của Z trong một chuỗi 'ABSCOPZG'" trở nên khó hơn mức cần thiết vì thước đo vị trí tự nó thay đổi theo nội dung. Vì vậy, bài báo này đề xuất PoPE, cung cấp cho mô hình một thước đo vị trí cố định bằng cách mã hóa vị trí của các token độc lập với bản chất của chúng, cho phép "nội dung" chỉ kiểm soát sức mạnh khớp trong khi "vị trí" một mình kiểm soát khoảng cách. Với PoPE đạt được độ chính xác 95% trong khi RoPE sẽ bị kẹt ở mức 11% trong nhiệm vụ Chỉ mục Gián tiếp.