É interessante ver a Bytedance a trabalhar na resolução do problema do gradiente zero. A ideia deles é abordá-lo através de um orçamento de computação adaptativo; nós abordamos a partir de uma perspectiva de recompensa. O treinamento GRPO normalmente utiliza conjuntos de dados pequenos e cuidadosamente selecionados, os dados precisam ser realmente difíceis para fornecer sinais de aprendizagem ricos e permitir a descoberta. Treinar com dados mais fáceis apenas afiará o que o modelo já viu no SFT/pré-treinamento!