Моя первая опубликованная научная статья была о законе Мура, и сейчас развитие ИИ выглядит похоже: экспонента закона Мура не была результатом одной технологии, а скорее многих различных технологий на протяжении многих десятилетий, которые были готовы, когда один из подходов к производству чипов давал сбой. Регулярный темп Закона выполнял координирующую функцию, так что постоянно меняющаяся группа конкурентов была под давлением создавать самоисполняющееся пророчество непрерывного роста возможностей. Аналогично, развитие ИИ уже столкнулось с рядом препятствий, которые пришлось преодолевать с помощью новых техник и исследований (подходы к синтетическим данным, рассуждения, новые применения для RL). Но если вы не являетесь инсайдером (или не следите за ИИ внимательно в X), вы не видите этих препятствий: только стабильный экспоненциальный прогресс. Учитывая количество денег и талантов в этой области, я ожидаю, что даже если предобучение или что-то еще наткнется на стену, мы увидим быструю трансформацию всей отрасли к одному или нескольким из многих других подходов, которые разрабатывают люди. Вы можете увидеть это уже сейчас: работа над мировыми моделями, альтернативы LLM, новые методы обучения и т. д. Даже альтернативные экосистемы, которые делают ставку на рост небольших, тонко настроенных моделей и т. д. Некоторые из этих техник приходят от стартапов, другие разрабатываются в самих лабораториях ИИ. Люди в X, как правило, углубляются в детали, рассматривая ИИ как спорт, болея за или против команд и подходов. Но за любой разумный промежуток времени возможно, что развитие ИИ будет выглядеть как плавная экспонента по многим метрикам для всех остальных.