Bài báo thú vị làm cho toàn bộ quỹ đạo RL trở nên khả vi phân, cho phép lan truyền ngược qua thời gian. Họ lấy mẫu "soft tokens", đưa chúng trở lại vào transformer, và áp dụng một phần thưởng khả vi phân lên chúng. Công việc rất tuyệt vời! 🔗