У чому різниця між токеном, залишком, активацією та латентним? Усі ці речі, здається, стосуються одного й того ж об'єкта, зазвичай N-тьмяного вектора плаваючих елементів, який з часом зазнає певної еволюції. Проте люди наполягають, що деякі речі — це одне, але не інші.

@yudhister_ Хоча, якщо дивитися на таку точку зору, здається дивним казати, що трансформери токенізовані... Трансформер ніколи не бачить жетона. Між жетонами немає перехресної уваги. Спочатку їх потрібно перетворити на латентні

@yudhister_ Люди натомість говорять про токени, ніби це слоти, «самоувага між токенами», і токен переходить від утримання інтелекту до вектора флоатів.