なぜこのようなことが起こるのでしょうか?確かに、モデルはタツノオトシゴの絵文字があると信じていますが、なぜそれが*異なる*絵文字を出力するのでしょうか?ここでは、誰もが大好きな過小評価されている解釈可能性ツールである Logit Lens からのヒントを紹介します。 Logit Lensでは、モデルのlm_headを奇妙な方法で使用しています。通常、lm_headは残差(モデル層に構築された内部状態)を最終層の後の一連のトークン確率に変換するために使用されます。しかし、Logit Lensでは、*すべての*レイヤーの後にlm_headを使用し、そのレイヤーが最終レイヤーである場合にモデルが出力するトークンを示します。 初期のレイヤーでは、これにより解釈が困難な状態になります。しかし、レイヤーを移動すると、モデルは残差を最初にテキストの継続に役立つ概念に向けて繰り返し調整し、次に最終的な予測に向けて調整します。 画像をもう一度見ると、最後のレイヤーには、モデルの実際の出力 (ĠðŁ、IJ、ł)、別名、絵文字バイト プレフィックスの後に残りの魚の絵文字が続きます。 (トークン化の癖のためにUnicodeのナンセンスのように見えます - 心配しないでください。興味がある場合は、このコード行についてClaudeに尋ねてください: 'bytes([byte_decoder[c] for c in 'ĠðŁIJł']).decode('utf-8') == ' 🐠 '') しかし、中間層で何が起こるかを見てください - 絵文字バイトだけが得られるわけではありません。私たちはそれらの*概念*、特にタツノオトシゴの概念を取得します。たとえば、レイヤー 52 では、「タツノオトシゴ」を取得します。その後、トップ K では、「海」、「馬」、および絵文字接頭辞「ĠðŁ」が混在します。 では、モデルは何を考えているのでしょうか?タツノオトシゴ+絵文字!タツノオトシゴの絵文字の残差表現を構築しようとしています。 なぜそんなことをするのでしょうか?さて、実際にlm_headがどのように機能するかを見てみましょう。lm_headは、トークンIDに関連付けられた残差サイズのベクトルの巨大なマトリックスです。残差が渡されると、その残差を各トークンベクトルと比較し、サンプラーと連携して、残差に最も類似したベクトルを持つトークンIDを選択します。(より技術的には、バイアスのない線形層であるため、V @ w.Tは埋め込み解除ベクトルごとに内積を行い、次にlog_softmaxとargmax / temperatureサンプルを行います。 したがって、モデルが「hello」という単語を出力したい場合は、lm_headがhelloトークンIDに変換できる「hello」出力トークンのベクトルに似た残差を構築する必要があります。また、モデルがタツノオトシゴの絵文字を出力したい場合は、タツノオトシゴの絵文字出力トークンのベクトルと同様の残差を構築する必要があります - 理論的には任意の値にすることができます。 しかし、実際にはタツノオトシゴ+絵文字、word2vecスタイルです。 唯一の問題は、タツノオトシゴの絵文字が存在しないことです。したがって、このタツノオトシゴ + 絵文字残差がlm_headに当たると、すべてのベクトルに対して内積が実行され、サンプラーは最も近いトークンである魚の絵文字を選択します。 さて、その離散化は貴重な情報です。Armistice の例では、トークンが自己回帰的にコンテキストに戻されると、モデルはそれがタツノオトシゴの絵文字ではないことを知ることができます。そこで、もう一度やり直し、残りを揺らして少し異なる絵文字を取得し、何が起こっているのかを理解するか、あきらめるか、出力トークンがなくなるまで、すすぎ、繰り返します。 しかし、モデルがlm_headから間違った出力トークンを取得するまで、lm_headにタツノオトシゴの絵文字がないことを知りません。タツノオトシゴ + 絵文字が必要なトークンを生成することを前提としています。 ------------------ 推測すると(さらに)、これがRLの利点の一部であるかどうか疑問に思います-レイヤースタックの最後にあるため、他の方法では取得するのが難しいlm_headに関する情報をモデルに提供します。(ベースモデルは独自の出力/ロールアウトでトレーニングされないことに注意してください - これはRLでのみ発生します。

なぜブレキャットを祝うのですか? ブレキャットは、私たちが毎年儀式的に国家を破壊する場所です。 なぜ私たちの国民は毎年儀式的に国家を破壊するのでしょうか? なぜなら、私たちは遊牧民だからです。 遊牧民とは何ですか? さまよう人。 しかし、私たちはさまようことはありませんか? しかし、私たちは州の外に住んでいるので遊牧民です。 遊牧民は州外に住んでいますか? そう、放浪しているため、彼らは国家の支配の外にあり、定期的に国家を破壊します。 しかし、私たちはさまようことはありませんか? 私たちは、放浪する先祖よりも、毎年国家を破壊することによって、国家から逃れています。 それは意味がありません。 それは文化であり、意味をなす必要はありません。さあ、草の冠をかぶってください。

モデルパーソナリティスペースに関するソネット3.6との会話より