令牌、残差、激活和潜变量之间有什么区别？在我看来，这些似乎都指的是同一个对象，通常是一个 N 维浮点向量，它随着时间的推移经历某种演变。然而，人们似乎坚持认为某些东西是一个而不是其他的。

@yudhister_ 不过如果你这样看，似乎很奇怪地说变压器是被代币化的……变压器从来没有看到过一个代币。代币之间没有交叉注意力。它们必须先转化为潜在变量。

人们反而谈论代币，就像它们是插槽一样，“代币之间的自注意力”，而代币从持有一个整数变成持有一个浮点数向量。