Горький урок часто неправильно интерпретируется и в целом переоценивается. Масштабирование — это необходимая часть интеллекта. Это также то, что вы делаете, когда у вас заканчиваются идеи. Существует множество способов использовать вычислительные ресурсы. Например: - искать новые оси для использования вычислений (o3 / модели рассуждений, 2024) - переработать систему, чтобы устранить узкие места (трансформеры, 2017) - улучшить данные (большая часть того, что способствует улучшениям в передовых лабораториях) - полностью переопределить проблему (InstructGPT, 2022)