RoPEは根本的に欠陥があります。 この論文は、RoPEがトークンの「何であるか」と「どこにあるか」を混同するため、モデルがトークン同一性とは独立して相対的な位置を確実に推論できないことを示しています。 例えば、「左に3つのトークン」という実質的な概念は、関わる文字によって微妙に依存するため、「『ABSCOPZG』という列の中でZの左3の文字はどれか」と尋ねるのは、位置定規自体が内容とともに変化するため、本来よりも難しくなります。 そこで本論文はPoPEを提案します。これは、トークンが何であるかに依存しない場所を符号化することで、モデルに固定された位置定規を与え、「内容」がマッチ強さのみを制御し、「位置」だけが距離を制御できるようにします。 PoPEは95%の精度を達成し、RoPEは間接インデックスタスクで11%にとどまります