Was ist der Unterschied zwischen einem Token, einem Residuum, einer Aktivierung und einem latenten? Diese scheinen mir alle dasselbe Objekt zu bezeichnen, einen N-dimensionalen Vektor von Fließkommazahlen, der sich normalerweise im Laufe der Zeit weiterentwickelt. Dennoch bestehen die Leute darauf, dass einige Dinge das eine sind, aber nicht das andere.

@yudhister_ Wenn man diese Sichtweise einnimmt, scheint es sehr seltsam zu sagen, dass Transformer tokenisiert sind... der Transformer sieht niemals ein Token. Es gibt keine Kreuzaufmerksamkeit zwischen Tokens. Sie müssen zuerst in Latents umgewandelt werden.

@yudhister_ Die Leute sprechen stattdessen über Tokens, als wären sie Slots, "Selbstaufmerksamkeit zwischen Tokens", und das Token wechselt von der Speicherung eines Integers zur Speicherung eines Vektors von Fließkommazahlen.