RoPE è fondamentalmente difettoso. Questo documento dimostra che RoPE confonde "cosa" è un token con "dove" si trova, quindi il modello non può ragionare in modo affidabile sulle posizioni relative indipendentemente dall'identità del token. Ad esempio, il concetto efficace di "3 token a sinistra" dipende sottilmente da quali lettere sono coinvolte, quindi chiedere "quale lettera si trova 3 a sinistra di Z in una sequenza 'ABSCOPZG'" diventa più difficile di quanto dovrebbe essere perché il righello posizionale stesso si sposta con il contenuto. Quindi questo documento propone PoPE, che fornisce al modello un righello posizionale fisso codificando dove si trovano i token indipendentemente da cosa siano, permettendo al "contenuto" di controllare solo la forza di corrispondenza mentre "posizione" controlla da solo la distanza. Con PoPE che raggiunge il 95% di accuratezza mentre RoPE rimarrebbe bloccato all'11% nel compito di Indicizzazione Indiretta.