В чем разница между токеном, остатком, активацией и латентом? Все это, похоже, относится к одному и тому же объекту, который обычно представляет собой N-мерный вектор чисел с плавающей запятой и со временем претерпевает некоторые изменения. Тем не менее, люди, похоже, настаивают на том, что некоторые вещи являются одним, но не другими.

@yudhister_ Хотя если вы так смотрите, кажется очень странным говорить, что трансформеры токенизированы... трансформер никогда не видит токен. Нет перекрестного внимания между токенами. Сначала их нужно превратить в латенты.

@yudhister_ Люди вместо этого говорят о токенах, как о слотах, "самовнимание между токенами", и токен переходит от хранения целого числа к хранению вектора чисел с плавающей запятой.