¿Cuál es la diferencia entre un token, un residual, una activación y un latente? Todos parecen referirse al mismo objeto para mí, un vector N-dimensional de flotantes generalmente, que evoluciona con el tiempo. Sin embargo, la gente parece insistir en que algunas cosas son una cosa pero no las otras.

@yudhister_ Aunque si tomas esa perspectiva, parece muy extraño decir que los transformadores están tokenizados... el transformador nunca ve un token. No hay atención cruzada entre tokens. Tienen que convertirse primero en latentes.

@yudhister_ La gente en cambio habla de los tokens como si fueran slots, "autoatención entre tokens", y el token pasa de contener un int a contener un vector de floats.