我们在异步强化学习训练的稳定性方面取得了很大的进展。 不久前，简单的 grpo 就会因为不匹配而在 torch compile 时崩溃。但现在我们可以在很大程度上偏离策略来处理代理强化学习。 在 prime-rl 损失计算中有很多非常重要的细节，开启我们最新的稳定性改进在一些运行中会对 kl 不匹配产生重大影响。

大部分信息来自 @Grad62304977 在最近的论文中发现的 alpha