RoPE este fundamental defectuos. Această lucrare arată că RoPE amestecă "ce" este un token cu "unde" se află, astfel încât modelul nu poate raționa în mod fiabil despre pozițiile relative independent de identitatea tokenului. De exemplu, noțiunea efectivă de "3 jetoane la stânga" depinde subtil de literele implicate, astfel încât întrebarea "care literă este 3 la stânga lui Z într-o secvență 'ABSCOPZG'" devine mai dificilă decât ar trebui deoarece rigla pozițională însăși se deplasează odată cu conținutul. Astfel, această lucrare propune PoPE, care oferă modelului o riglă pozițională fixă prin codificare, unde jetoanele sunt independente de ceea ce sunt, permițând "conținutului" să controleze doar puterea potrivirii, în timp ce "poziția" singură controlează distanța. PoPE atingând o acuratețe de 95%, în timp ce RoPE ar rămâne blocat la 11% la sarcina de Indexare Indirectă