Является ли онлайн-выравнивание единственным путем, несмотря на его медлительность и высокие вычислительные затраты? Вдохновленные теорией перспектив, мы предоставляем ориентированное на человека объяснение того, почему онлайн-выравнивание (например, GRPO) превосходит оффлайн-выравнивание (например, DPO, KTO) и эмпирически показываем, как закрыть разрыв между онлайн и оффлайн с помощью Humanline, простого, но постоянно эффективного дизайна из двух частей. 💡Основная находка: Применение humanline поверх оффлайн-целей может показывать результаты на уровне их онлайн-аналога как в следовании инструкциям, так и в математическом рассуждении. Последовательные улучшения по различным целям, семействам моделей и размерам моделей! Больше в тредах 🧵