新しいNanoGPT Speedrun West Runnerは109.2(-3.5秒)で、Paired Head Attentionという新しい(?)のアタックなアップグレードも導入されました。クエリは隣接するヘッドのキーに注意を向けることができ、各Qがターゲット位置ごとに1つの値ではなく2つの値を取得できるようにします。ゼロパラメータで3%の影響!