Хорошо, основываясь на ответах, вот что я думаю, мы должны определить, что означают слова. Токен: токенизатор создает токены, которые являются слотами с начальными значениями. Латентный: начальное значение токена встроено в пространстве размерности и становится латентным. Резидуальный: латентный, но подчеркивающий потоковую природу как значение, которое аннотируется. Скрытое состояние: когда латентный рассматривается как обновляемый на месте, его иногда называют скрытым состоянием. Активация: эфемерное состояние, создаваемое обработкой латентного в пределах данного слоя. Иногда резидуалы создаются эфемерно, и тогда они тоже становятся активациями.