Jaký je rozdíl mezi tokenem, reziduum, aktivací a latentem? Všechny se mi zdají odkazovat na stejný objekt, obvykle N-dim vektor plováků, který prochází určitou evolucí v průběhu času. Přesto lidé tvrdí, že některé věci jsou jedno, ale ne ostatní.

@yudhister_ I když když se na to díváte tímto způsobem, zdá se mi velmi zvláštní říkat, že transformátory jsou tokenizovány... Transformer nikdy nevidí žeton. Mezi žetony není žádná křížová pozornost. Nejdřív je třeba je proměnit v latentní

@yudhister_ Lidé místo toho mluví o tokenech jako o slotech, "sebepozornosti mezi tokeny", a token přechází z držení intu na vektor floatů.