Care este diferența dintre un token, un rezidual, o activare și un latent? Toate acestea mi se par să se refere la același obiect, de obicei un vector N-dim al plutitoarelor, care trece printr-o anumită evoluție în timp. Totuși, oamenii par să insiste că unele lucruri sunt una, dar nu și altele.

@yudhister_ Deși, dacă ai această opinie, pare foarte ciudat să spui că transformatoarele sunt tokenizate... Transformerul nu vede niciodată un jeton. Nu există atenție încrucișată între jetoane. Trebuie transformate mai întâi în latente

@yudhister_ Oamenii vorbesc despre jetoane ca despre sloturi, "auto-atenție între jetoane", iar tokenul trece de la a deține un int la a deține un vector de float-uri.