многие ведущие исследователи начинают утверждать, что масштабирование само по себе не приведет нас к AGI, и что в конечном итоге нам потребуется серьезный прорыв в исследованиях, аналогичный созданию трансформеров. Недавно у меня была возможность поговорить с Джоном Хеннесси (председателем Alphabet), и я спросил его, является ли текущая тенденция масштабирования просто временной фазой или парадигмой сама по себе. он сказал, что есть два ключевых вопроса: будет ли масштабирование продолжать обеспечивать прогресс в способности создавать ИИ-системы для сложного рассуждения. до сих пор мы не видели остановки в этом, так что ответ не совсем да, но, вероятно, да. второй вопрос заключается в том, останется ли масштабирование экономически эффективным, и его ответ на это был нет. полезная метрика для анализа - это производительность на ватт, и эта кривая начинает выравниваться. Я считаю, что становится все более очевидным, что даже если масштабирование продолжает улучшать возможности моделей, реальной узкой местом может быть не убывающая отдача, а стоимость энергии, необходимая для достижения систем уровня AGI и ASI. плато не появляется в сырой производительности, оно появляется в производительности на ватт. проблема ASI в конечном итоге сводится к проблеме энергии. Это Кардашев.