Лестница сигмоидов Я углубился в ссылку после прочтения статьи Дваркеша, которая меня довольно сильно беспокоила. В посте он упоминает: "Тоби Орд написал отличный пост, в котором он умело связывает точки между различными графиками бенчмарков o-серии, что предполагает, что "нам нужно что-то вроде 1,000,000-кратного увеличения общего объема вычислений RL, чтобы получить прирост, аналогичный уровню GPT"." Это заставляет думать, что дела могут застопориться. Тоби даже говорит две вещи, которые меня беспокоят: 1. "Мы видели впечатляющие достижения, но они были возможны только при таком низком уровне. Мы достигли точки, где дальнейшее продвижение становится слишком дорогим." 2. "Теперь, когда обучение RL приближается к своему эффективному пределу, мы, возможно, потеряли способность эффективно превращать больше вычислений в больше интеллекта." Я поинтересовался, насколько легитимно это утверждение и какова противоположная бычья позиция по увеличению RL. Хороший друг сказал: "Да, если вы будете наивно увеличивать вычисления RL, это будет плохо масштабироваться. Но мы не должны этого делать! Вот почему существует так много компаний, занимающихся средами RL. Лучший подход - это масштабироваться к новым, более сложным средам." После некоторого размышления я нашел способ сжать это дальше до: "Представление этого как лестницы сигмоидов для новых задач, миров, целей - это самый полезный способ думать о том, как это может продолжаться еще некоторое время."