Sự khác biệt giữa token, residual, activation và latent là gì? Tất cả những điều này dường như đều đề cập đến cùng một đối tượng với tôi, một vector N-dim của các số thực thường, cái mà trải qua một số sự tiến hóa theo thời gian. Tuy nhiên, mọi người dường như khăng khăng rằng một số thứ là cái này nhưng không phải cái kia.

@yudhister_ Tuy nhiên, nếu bạn nhìn nhận theo cách đó, thật kỳ lạ khi nói rằng các transformer được mã hóa thành token... transformer không bao giờ thấy một token. Không có sự chú ý chéo giữa các token. Chúng phải được chuyển đổi thành latents trước.

@yudhister_ Mọi người thay vì nói về các token như thể chúng là các khe, "sự chú ý tự thân giữa các token", và token chuyển từ việc giữ một số nguyên sang việc giữ một vector các số thực.