RoPE är fundamentalt bristfälligt. Denna artikel visar att RoPE blandar ihop "vad" en token är med "var" den är, så modellen kan inte pålitligt resonera om relativa positioner oberoende av tokenidentitet. Till exempel. den effektiva idén om "3 tokens till vänster" beror subtilt på vilka bokstäver som är involverade, så att fråga "vilken bokstav är 3 till vänster om Z i en sekvens 'ABSCOPZG'" blir svårare än det borde vara eftersom den positionella linjalen själv skiftar med innehållet. Så denna artikel föreslår PoPE, som ger modellen en fast positionslinjal genom att koda där tokens är oberoende av vad de är, vilket låter "innehåll" endast kontrollera matchstyrkan medan "position" ensam styr avståndet. Med PoPE som uppnår 95 % noggrannhet skulle RoPE fastna på 11 % på indirekt indexeringsuppgift