DLLMs 看起来很有前景……但并行生成并不总是可能的 基于扩散的 LLM 可以同时在不同位置生成多个标记，而大多数自回归 LLM 是一个一个地生成标记。 这使得基于扩散的 LLM 在我们需要快速生成且计算量较少时非常有吸引力。 一个大问题是……在不失去建模准确性的情况下，是否可以进行并行生成？ 答案是否定的。我们可以实现的并行性有基本的限制。 考虑这个例子： “从以下四个城市中均匀随机选择一个城市： 纽约、新奥尔良、墨西哥城或巴拿马城。” 然后， P(Y₁ = New, Y₂ = York) = 1/4， P(Y₁ = New, Y₂ = Orleans) = 1/4，等等。 因此，P(Y₁ = New) = 1/2，P(Y₂ = City) = 1/2。 如果你选择并行生成 Y₁ 和 Y₂，无论你使用什么解码算法…… 你注定会抽样出“New City”。 今天的 DLLMs 没有一个可以在不放弃并行性的情况下正确生成这两个词。 ----- 为什么会这样？...