Mikä on ero tokenin, jäännöksen, aktivoinnin ja latentin välillä? Nämä kaikki viittaavat minusta samaan objektiin, yleensä N-dim-vektoriin, joka kehittyy ajan myötä. Silti ihmiset tuntuvat väittävän, että jotkut asiat ovat yksi, mutta eivät toiset.

@yudhister_ Vaikka jos näet näin, tuntuu hyvin oudolta sanoa, että transformerit ovat tokenisoituja... Transformer ei koskaan näe merkkiä. Tokenien välillä ei ole ristiinhuomiota. Ne täytyy ensin muuttaa latentteiksi

@yudhister_ Ihmiset puhuvat tokeneista kuin ne olisivat slotteja, "itsehuomiota tokenien välillä", ja token siirtyy int:n pitämisestä float-vektoriin.