Это было так весело, Марио. Спасибо, что пригласил меня на шоу, чтобы поговорить обо всем, что происходит на рынке!

OpenAI получает в среднем 1 запрос на американца в день. Google получает около 4 запросов на американца в день. С тех пор 50% запросов в Google имеют AI-обзоры, это означает, что как минимум 60% поисков в США теперь связаны с ИИ. Это заняло немного больше времени, чем я ожидал, чтобы это произошло. В 2024 году я предсказал, что 50% потребительских поисков будут поддерживаться ИИ. ( Но ИИ уже пришел в поиск. Если паттерны поиска в Google являются каким-либо индикатором, то в поведении поиска существует закон силы. Анализ поведения поиска в Google от SparkToro показывает, что верхняя треть американцев, которые ищут, выполняет более 80% всех запросов - что означает, что использование ИИ, вероятно, не распределено равномерно - как и будущее. Вебсайты и бизнесы начинают ощущать последствия этого. Статья The Economist "ИИ убивает веб. Может ли что-то его спасти?" отражает дух времени в заголовке. ( Супербольшинство американцев теперь ищет с помощью ИИ. Вторичные эффекты от изменения паттернов поиска начнут проявляться во второй половине этого года, и больше людей будут спрашивать: "Что случилось с моим трафиком?" ( ИИ - это новый канал распределения, и те, кто его захватит, получат долю рынка. - Уильям Гибсон заглянул гораздо дальше в будущее! - Это основано на промежуточном анализе графика SparkToro, это очень простой анализ и имеет некоторые ошибки в результате.

Работая с ИИ, я останавливаюсь перед тем, как что-либо ввести в поле, чтобы задать себе вопрос: чего я ожидаю от ИИ? 2x2 на помощь! В каком я квадрате? По одной оси, сколько контекста я предоставляю: не очень много или довольно много. По другой, должен ли я следить за ИИ или позволить ему работать. Если я предоставляю очень мало информации и позволяю системе работать: «исследовать тенденции Forward Deployed Engineer», я получаю бесполезные результаты: общие обзоры без соответствующих деталей. Запуск того же проекта с серией коротких вопросов создает итеративный разговор, который успешен - это Исследование. «Какие компании внедрили Forward Deployed Engineers (FDEs)? Каковы типичные фоны FDEs? Какие типы контрактных структур и бизнесов подходят для этой работы?» Когда у меня очень низкая терпимость к ошибкам, я предоставляю обширный контекст и работаю итеративно с ИИ. Для блогов или финансового анализа я делюсь всем (текущими черновиками, предыдущими записями, подробными требованиями), а затем продолжаю предложение за предложением. Позволить агенту работать свободно требует определения всего заранее. Я редко добиваюсь успеха здесь, потому что предварительная работа требует огромной ясности - точные цели, полная информация и детализированные списки задач с критериями валидации - план. Эти подсказки в конечном итоге выглядят как документы с требованиями к продукту, которые я писал в качестве менеджера продукта. Ответ на вопрос «чего я ожидаю?» станет проще, когда ИИ-системы получат доступ к большему количеству моей информации и улучшат выбор соответствующих данных. По мере того как я становлюсь лучше в формулировании того, что я на самом деле хочу, сотрудничество улучшается. Я стремлюсь переместить гораздо больше своих вопросов из верхнего левого квадрата - как меня обучали с помощью поиска Google - в другие три квадранта. Я также ожидаю, что эта привычка поможет мне лучше работать с людьми.

Этот маленький черный ящик посередине — это код машинного обучения. Я помню, как читал статью Google 2015 года «Скрытый технический долг в машинном обучении» и думал, как мало в приложении машинного обучения на самом деле является машинным обучением. Большая часть — это инфраструктура, управление данными и операционная сложность. С наступлением эпохи ИИ казалось, что большие языковые модели поглотят эти ящики. Обещание заключалось в простоте: просто внедрите LLM и смотрите, как он справляется со всем, от обслуживания клиентов до генерации кода. Больше никаких сложных конвейеров или хрупких интеграций. Но при создании внутренних приложений мы наблюдали аналогичную динамику с ИИ. Агентам нужно много контекста, как человеку: как структурирована CRM, что мы вводим в каждое поле — но ввод данных дорогой для голодной, голодной модели ИИ. Снижение затрат означает написание детерминированного программного обеспечения, чтобы заменить рассуждения ИИ. Например, автоматизация управления электронной почтой означает написание инструментов для создания задач в Asana и обновления CRM. Когда количество инструментов превышает десять или пятнадцать, вызов инструментов больше не работает. Время запустить классическую модель машинного обучения для выбора инструментов. Затем нужно следить за системой с помощью наблюдаемости, оценивать, насколько она производительна, и направлять к правильной модели. Кроме того, существует целая категория программного обеспечения, обеспечивающего выполнение ИИ своих задач. Ограничительные меры предотвращают неуместные ответы. Ограничение частоты помогает предотвратить рост затрат, когда система выходит из-под контроля. Извлечение информации (RAG - извлечение с дополнением генерации) является необходимым для любой производственной системы. В моем приложении для электронной почты я использую векторную базу данных LanceDB, чтобы находить все письма от конкретного отправителя и сопоставлять их тон. Существуют и другие методы управления знаниями, связанные с графом RAG и специализированными векторными базами данных. В последнее время память стала гораздо более важной. Интерфейсы командной строки для инструментов ИИ сохраняют историю разговоров в виде файлов markdown. Когда я публикую графики, я хочу, чтобы подпись Theory Ventures была в правом нижнем углу, с определенным шрифтом, цветами и стилями. Все это теперь сохраняется в файлах .gemini или .claude в серии каскадных каталогов. Исходная простота больших языковых моделей была поглощена сложностью производственных систем корпоративного уровня. Это не идентично предыдущему поколению систем машинного обучения, но следует четкой параллели. То, что казалось простым «волшебным ящиком ИИ», оказывается айсбергом, где большая часть инженерной работы скрыта под поверхностью.

Если 2025 год станет годом агентов, то 2026, безусловно, будет принадлежать менеджерам агентов. Менеджеры агентов — это люди, которые могут управлять командами ИИ-агентов. Сколько агентов может успешно управлять один человек? Я едва могу управлять 4 ИИ-агентами одновременно. Они просят разъяснений, запрашивают разрешение, выполняют веб-поиски — все это требует моего внимания. Иногда задача занимает 30 секунд. В другие раз — 30 минут. Я теряю счет, какой агент что делает, и половина работы выбрасывается, потому что они неправильно интерпретируют инструкции. Это не проблема навыков. Это проблема инструментов. Физические роботы дают подсказки о продуктивности менеджеров роботов. MIT опубликовал анализ в 2020 году, который показал, что в среднем один робот заменяет 3,3 человеческих рабочих места. В 2024 году Amazon сообщила, что роботы для упаковки и отправки заменили 24 работника. Но есть критическое различие: ИИ является недетерминированным. ИИ-агенты интерпретируют инструкции. Они импровизируют. Иногда они полностью игнорируют указания. Roomba может только мечтать о творческой свободе игнорировать вашу гостиную и решить, что гараж требует внимания вместо этого. Теория управления часто направляет команды на контрольный диапазон из 7 человек. Общаясь с некоторыми лучшими менеджерами агентов, я узнал, что они используют почтовый ящик агентов, инструмент управления проектами для запроса работы ИИ и ее оценки. В программной инженерии для этой цели служат запросы на изменение в Github или билеты в Linear. Очень продуктивные ИИ-программисты управляют 10-15 агентами, подробно указывая 10-15 задач, отправляя их ИИ, ожидая завершения и затем проверяя работу. Половина работы выбрасывается и перезапускается с улучшенной подсказкой. Почтовый ящик агентов пока не популярен. Он не широко доступен. Но я подозреваю, что он станет важной частью стека продуктивности для будущих менеджеров агентов, потому что это единственный способ отслеживать работу, которая может поступать в любое время. Если ARR на сотрудника — это новая показательная метрика для стартапов, то количество управляемых агентов на человека может стать показателем продуктивности работника. Сколько агентов, по вашему мнению, вы могли бы управлять за 12 месяцев? 10? 50? 100? Могли бы вы управлять агентом, который управляет другими агентами?

"О, ваш офис в здании Ферри, это так удивительно, каково это?" "Непрерывные уличные выступления. Встречи прерываются звуками волынщиков снаружи. Места в первом ряду на следующем концерте Сантаны на улице."

В течение последнего десятилетия самой крупной статьей расходов в бюджете НИОКР любого стартапа была предсказуемая талантливость. Но ИИ пробивается на отчет о прибылях и убытках. Сколько стартап должен тратить на ИИ в процентном соотношении к своим расходам на исследования и разработки? 10%? 30%? 60%? Есть три фактора, которые нужно учитывать. Во-первых, средняя зарплата программиста в Кремниевой долине. Во-вторых, общая стоимость ИИ, используемого этим инженером. Cursor сейчас стоит 200 долларов в месяц за их Ultra Plan, а отзывы о Devin предполагают 500 долларов в месяц. В-третьих, количество агентов, которыми может управлять инженер. Первый подход: (первая картинка) Но, вероятно, подписные расходы низкие. В последние несколько дней я активно играл с ИИ-кодирующими агентами и накопил счет в 1000 долларов за пять дней! 😳😅 Так что давайте обновим таблицу и предположим еще 1000 долларов в месяц на каждого инженера. Таким образом, для типичного стартапа оценка в 10-15% от общих расходов на НИОКР сегодня может быть использована для ИИ. Варианты на практике будут гораздо шире, поскольку мы все учимся лучше использовать ИИ, и он проникает в большее количество организаций. Меньшие компании, которые изначально являются ИИ-родными, вероятно, будут иметь значительно более высокие коэффициенты. Если вам интересно участвовать в анонимном опросе, я опубликую результаты, если размер выборки будет достаточно большим, чтобы получить статистически значимый результат. Опрос здесь: Это грубо упрощенная модель, в которой мы рассматриваем только зарплаты, не включая льготы, оборудование, инфраструктуру разработки и тестирования и т. д. Это оценка, основанная на личном опыте в кодировании.

В течение последнего десятилетия самой крупной статьей расходов в бюджете НИОКР любого стартапа была предсказуемая талантливость. Но ИИ пробивается на отчет о прибылях и убытках. Сколько стартап должен тратить на ИИ в процентном соотношении к своим расходам на исследования и разработки? 10%? 30%? 60%? Есть три фактора, которые нужно учитывать. Во-первых, средняя зарплата программиста в Кремниевой долине. Во-вторых, общая стоимость ИИ, используемого этим инженером. Cursor сейчас стоит 200 долларов в месяц за их Ultra Plan, а отзывы о Devin предполагают 500 долларов в месяц. В-третьих, количество агентов, которыми может управлять инженер. Первый подход: (первая картинка) Но, вероятно, подписные расходы низкие. В последние несколько дней я активно играл с ИИ-кодирующими агентами и накопил счет в 1000 долларов за пять дней! 😳😅 Так что давайте обновим таблицу и предположим еще 1000 долларов в месяц на каждого инженера. Таким образом, для типичного стартапа оценка в 10-15% от общих расходов на НИОКР сегодня может быть использована для ИИ. Варианты на практике будут гораздо шире, поскольку мы все учимся лучше использовать ИИ, и он проникает в большее количество организаций. Меньшие компании, которые изначально являются ИИ-родными, вероятно, будут иметь значительно более высокие коэффициенты. Если вам интересно участвовать в анонимном опросе, я опубликую результаты, если размер выборки будет достаточно большим, чтобы получить статистически значимый результат. Опрос здесь: Это грубо упрощенная модель, в которой мы рассматриваем только зарплаты, не включая льготы, оборудование, инфраструктуру разработки и тестирования и т. д. Это оценка, основанная на личном опыте в кодировании.

Когда вы запрашиваете ИИ, он собирает соответствующую информацию, чтобы ответить вам. Но сколько информации нужно модели? Беседы с практиками показали их интуицию: входные данные были примерно в 20 раз больше, чем выходные. Но мои эксперименты с интерфейсом командной строки инструмента Gemini, который выводит подробную статистику токенов, показали, что это гораздо больше. В среднем 300 раз и до 4000 раз. Вот почему это высокое соотношение входных и выходных данных имеет значение для всех, кто строит с ИИ: Управление затратами зависит от входных данных. Поскольку вызовы API оцениваются по токенам, соотношение 300:1 означает, что затраты определяются контекстом, а не ответом. Эта ценовая динамика верна для всех основных моделей. На странице цен OpenAI выходные токены для GPT-4.1 в 4 раза дороже входных токенов. Но когда входные данные в 300 раз более объемные, затраты на входные данные все равно составляют 98% от общего счета. Задержка зависит от размера контекста. Важным фактором, определяющим, сколько времени пользователь ждет ответа, является время, необходимое модели для обработки входных данных. Это переопределяет инженерную задачу. Это наблюдение доказывает, что основной вызов при работе с LLM не только в том, чтобы задавать вопросы. Это инженерия контекста. Критическая задача заключается в создании эффективного извлечения данных и контекста - разработке конвейеров, которые могут находить лучшую информацию и сжимать ее до минимального возможного объема токенов. Кэширование становится критически важным. Если 99% токенов находятся во входных данных, создание надежного кэширования для часто запрашиваемых документов или общих контекстов запросов переходит из разряда "желательно иметь" в основное архитектурное требование для создания экономически эффективного и масштабируемого продукта. Для разработчиков это означает, что сосредоточение на оптимизации входных данных является критическим рычагом для контроля затрат, снижения задержки и, в конечном итоге, создания успешного продукта на базе ИИ.

Вчера Figma подала свой прекрасно оформленный S-1. Он раскрывает бизнес, ориентированный на продуктовый рост (PLG), с замечательной траекторией. Платформа совместного дизайна Figma нарушила рынок дизайна, долгое время доминируемый Adobe. Вот как две компании соотносятся по ключевым метрикам за их последний финансовый год [см. приложенное изображение]: Figma составляет около 3% от размера Adobe, но растет в 4 раза быстрее. Валовая маржа идентична. Чистая долларовая удерживаемость Figma составляет 132%, что попадает в верхний дециль. Данные также показывают, что расходы Figma на исследования и разработки почти равны расходам на продажи и маркетинг. Это PLG модель в своем лучшем проявлении. Продукт Figma является основным двигателем ее маркетинга. Его совместный характер способствует вирусному, снизу вверх принятию, что приводит к лучшей в своем классе эффективности продаж 1.0. На каждый доллар, потраченный на продажи и маркетинг в 2023 году, Figma сгенерировала доллар новой валовой прибыли в 2024 году. Смешанная модель Adobe, основанная на продажах и снизу вверх, дает более типичное значение 0.39. S-1 также подчеркивает риски. Наиболее значительным является конкуренция со стороны AI-продуктов. Хотя Figma активно инвестирует в AI, эта технология снижает барьер для новых участников. Защитой Figma является ее расширяющаяся платформа — с продуктами, такими как FigJam, Dev Mode и теперь Slides, Sites и Make. Эти новые категории продуктов привели многих PLG AI программных компаний к десяткам и сотням миллионов в ARR за рекордно короткое время. Учитывая ее высокий рост и уникальную бизнес-модель, как рынок должен оценивать Figma? Мы можем использовать линейную регрессию на основе публичных SaaS-компаний, чтобы предсказать ее будущий мультипликатор выручки. Модель показывает скромную корреляцию между ростом выручки и мультипликаторами оценки (R² = 0.23). Figma, с ее 48% ростом, будет самой быстрорастущей программной компанией в этой когорте, если не считать NVIDIA. Можно привести убедительные доводы, что Figma должна иметь более высокую, чем предсказанная, оценку. Ее сочетание гипер-роста, лучшей в своем классе эффективности продаж и страстной, самоподдерживающейся пользовательской базы является редким. Применяя предсказанный мультипликатор 19.9x нашей модели для оценки будущей выручки, мы получаем оценку IPO примерно в 21 миллиард долларов — премию к 20 миллиардам долларов, которые Adobe предложила за компанию в 2022 году. S-1 рассказывает историю компании, определяющей категорию, которая создала продукт для совместного дизайна, разработала феноменальное движение PLG и активно продвигается в AI. Комиссия за расторжение в размере 1,0 миллиарда долларов от Adobe была получена в декабре 2023 года и учтена как "Прочие доходы, чистые" в финансовом году 2024 (заканчивается 31 января 2024 года). Большая статья расходов на компенсацию акциями почти в 900 миллионов долларов связана с предложением для сотрудников в мае 2024 года. Оба эти показателя исключены из не-GAAP данных, упомянутых выше. Учитывая 48.3% темп роста Figma за последние двенадцать месяцев и дисконтируя его на 15% (чтобы учесть естественное замедление роста), модель дает оценку будущего роста в 41.1%. Это подразумевает будущую выручку около 1.1 миллиарда долларов.