トークン、残差、アクティベーション、潜在的な違いは何ですか?これらはすべて同じ物体、通常はNディムの浮動元ベクトルを指しているように思えます。時間とともに進化を遂げます。それでも人々は、あるものは一つであって他は違うと主張するようです。

@yudhister_ でも、その見方をするとトランスフォーマーがトークン化されていると言うのは非常に奇妙に思えます...トランスフォーマーはトークンを一度も見ません。トークン間のクロスアテンションはありません。まずは潜在能力に変えなければなりません

@yudhister_ 人々はトークンをスロットのように、「トークン間のセルフアテンション」のように話し、トークンはintを保持している状態からfloatのベクトルに変わるようになります。