Я думал, что это довольно трогательно. Одиночество — такая проблема сегодня.

Интернет помог длинному хвосту. AI будет противоположностью в следующие 3-5 лет.

Список лучших венчурных компаний интересен. Founders Fund #37 Benchmark #56 Greenoaks #114 First Round #174 Sutter Hill #176 с CAGR более 60% за последние 20 лет. Они также, похоже, не осведомлены о существовании Sequoia. Все сходится.

Все более уверены, что предзаполнение и декодирование станут отдельными рынками в рамках вывода. Для каждого из них будут использоваться разные системы; очевидно, что они должны будут работать вместе. Вероятно, это произойдет через 18 месяцев.

Рыночная капитализация, деленная на распределение CoWoS, интересна. Как правило, для того чтобы ASIC получил реальное признание, требуется три поколения.

Важно помнить, что Grok-4, GPT5, Opus 4.1 были обучены на GPU Hopper. С нетерпением жду первых моделей, обученных на Blackwell, в течение следующих шести месяцев.

Весело быть на @theallinpod Понравилось встретиться с Беном и Филом. Также, сколько еще таких встреч, прежде чем я получу бутылку текилы?

Совет директоров является проблемой управления в Intel, а не генеральным директором.

Учитывая огромную - и растущую - важность вычислений во время тестирования и постобучения RL, продемонстрированную абсолютным доминированием Grok-4, быть производителем токенов с низкими затратами важнее, чем когда-либо. Кстати, это первый раз в моей карьере как технологического инвестора, когда быть производителем чего-либо с низкими затратами имеет значение. Сегодня производителями токенов с наименьшими затратами являются Google (TPU) и xAI (самый крупный согласованный кластер, наименьшие капитальные затраты на развернутый GPU, почти наверняка самый высокий MFU и они приняли действительно умные архитектурные решения). Я, очевидно, предвзят, когда речь идет о xAI. С чисто технической точки зрения, наличие лучшей сетевой инфраструктуры для масштабирования и наиболее эффективной выгрузки KV-кэша имеет наибольшее значение как для затрат, так и для задержки для все более крупных моделей и контекстных окон. Это самые важные оси конкуренции в инфраструктуре ИИ сегодня - не вычисления. Обратите внимание, что пропускная способность памяти на упаковке имеет наибольшее значение, когда вы можете разместить модель на одном чипе (@cerebras), но для любой действительно крупной модели, требующей нескольких упаковок, масштабирование и выгрузка KV-кэша имеют наибольшее значение. Как все, работающие над ASIC, постепенно начинают понимать. Вот почему Dynamo и открытие NVLink были как важными, так и умными шагами. Последнее может привести к тому, что доля ASIC будет мигрировать к партнерам NVLink. Не говоря уже о естественных преимуществах в переговорах, имея второго поставщика. Вероятно, мы увидим больше таких шагов, на мой взгляд:

Гипотеза со средней степенью достоверности: через 3 года Trainium, TPU и Dojo будут единственными ASIC, которые останутся в строю.