Token, kalıntı, aktivasyon ve gizli bir token arasındaki fark nedir? Bunların hepsi bana aynı nesneye atıfta bulunuyor, genellikle zamanla evrim geçiren, N-dim bir float vektörüdür. Yine de insanlar bazı şeylerin bir olduğunu ama diğerlerinin olmadığını ısrarla söylüyor.

@yudhister_ Ama bu bakış açısını alırsanız, transformerların tokenize edildiğini söylemek çok garip geliyor... Transformer hiçbir zaman jeton görmez. Jetonlar arasında çapraz dikkat yok. Önce latentlere dönüştürülmeleri gerekiyor

@yudhister_ İnsanlar tokenlardan bahsediyor, "jetonlar arasında kendine dikkat etmek" gibi, ve token bir int tutmaktan float vektörüne geçiyor.