Wir sind in der Stabilität des asynchronen RL-Trainings so weit gekommen. Vor nicht allzu langer Zeit würde naive grpo einfach mit torch compile abstürzen wegen eines Missverhältnisses. Aber jetzt können wir sehr weit von der Politik abweichen, um agentisches RL zu handhaben. Es gibt viele wirklich wichtige Details in der Berechnung des prime-rl Verlusts, das Aktivieren unserer neuesten Stabilitätsverbesserung bei einigen unserer Läufe macht einen großen Unterschied im KL-Missverhältnis.

Der Großteil stammt von @Grad62304977, der Alpha in einem aktuellen Papier findet.