Được rồi, dựa trên các phản hồi, đây là những gì tôi nghĩ chúng ta nên định nghĩa các từ này có nghĩa là. Token: một tokenizer tạo ra các token, là các slot với giá trị ban đầu Latent: giá trị ban đầu của một token được nhúng vào một không gian dim và trở thành một latent Residual: một latent, nhưng nhấn mạnh tính chất streaming như một giá trị đang được chú thích Hidden state: khi một latent được xem là được cập nhật tại chỗ, đôi khi nó được gọi là trạng thái ẩn Activation: một trạng thái tạm thời được tạo ra bằng cách xử lý một latent trong một lớp nhất định. Đôi khi các residual được tạo ra tạm thời, và sau đó chúng cũng trở thành các activation.