Hva er forskjellen mellom en token, en residual, en aktivering og en latent? Disse ser alle ut til å referere til det samme objektet for meg, vanligvis en N-dum vektor av flyter, som gjennomgår en viss utvikling over tid. Likevel virker det som folk insisterer på at noen ting er ett, men ikke de andre.

@yudhister_ Men hvis du ser på det, virker det veldig merkelig å si at transformers er tokenisert... Transformeren ser aldri en token. Det er ingen kryssoppmerksomhet mellom tokens. De må først gjøres om til latente stoffer

@yudhister_ Folk snakker i stedet om tokens som om de er slots, «selvoppmerksomhet mellom tokens», og tokenen går fra å holde en int til å holde en vektor av floats.