Apa perbedaan antara token, residual, aktivasi, dan laten? Ini semua tampaknya mengacu pada objek yang sama bagi saya, vektor pelampung N-redup biasanya, yang mengalami beberapa evolusi dari waktu ke waktu. Namun orang-orang tampaknya bersikeras bahwa beberapa hal adalah satu tetapi tidak yang lain.

@yudhister_ Meskipun jika Anda mengambil pandangan itu, tampaknya sangat aneh untuk mengatakan bahwa transformator ditokenisasi... Transformer tidak pernah melihat token. Tidak ada perhatian silang antar token. Mereka harus diubah menjadi laten terlebih dahulu

@yudhister_ Orang-orang malah berbicara tentang token seperti slot, "perhatian diri antar token", dan token berubah dari memegang int menjadi memegang vektor float.