DLLMs có vẻ hứa hẹn... nhưng việc sinh song song không phải lúc nào cũng khả thi Các LLM dựa trên khuếch tán có thể sinh nhiều token ở các vị trí khác nhau cùng một lúc, trong khi hầu hết các LLM tự hồi quy sinh token một cách tuần tự. Điều này khiến các LLM dựa trên khuếch tán trở nên rất hấp dẫn khi chúng ta cần sinh nhanh với ít tài nguyên tính toán hơn. Một câu hỏi lớn là… liệu việc sinh song song có khả thi mà không làm mất độ chính xác của mô hình không? Câu trả lời là không. Có những giới hạn cơ bản về mức độ song song mà chúng ta có thể đạt được. Hãy xem xét ví dụ này: "Chọn một thành phố một cách ngẫu nhiên từ bốn thành phố sau: New York, New Orleans, Mexico City, hoặc Panama City." Sau đó, P(Y₁ = New, Y₂ = York) = 1/4, P(Y₁ = New, Y₂ = Orleans) = 1/4, và cứ như vậy. Vì vậy, P(Y₁ = New) = 1/2, P(Y₂ = City) = 1/2. Nếu bạn chọn sinh Y₁ và Y₂ song song, bất kể thuật toán giải mã nào bạn sử dụng… Bạn sẽ bị mắc kẹt với việc mẫu "New City." Không có LLM nào hiện nay có thể sinh hai từ này một cách chính xác mà không từ bỏ tính song song. ----- Tại sao lại như vậy?...