マリオ、これはとても楽しかったです。市場で起こっているすべてのことについて話すために番組に出演してくれてありがとう!

OpenAIは、アメリカ人1人あたり1日平均1問合せを受け取ります。 Google は、アメリカ人 1 人あたり 1 日に約 4 件のクエリを受け取ります。 それ以来、Google検索クエリの50%にAIの概要が搭載されており、これは米国の検索の少なくとも60%がAIであることを意味します。 これが起こるまでには、予想よりも少し時間がかかりました。2024 年には、消費者検索の 50% が AI 対応になると予測しました。( しかし、AIが検索に登場しました。 Google の検索パターンが何らかの兆候であるとすれば、検索行動にはべき乗則があります。SparkToro による Google 検索行動の分析によると、検索を行うアメリカ人の上位 3 分の 1 は、すべての検索の 80% 以上を実行しており、これは AI の使用が将来と同様に均等に分布している可能性が高いことを意味します。 ウェブサイトや企業はこの影響を感じ始めています。エコノミスト誌の記事「AIはウェブを殺している。何かがそれを救うことができるでしょうか?」という見出しで時代精神を捉えています。( 現在、アメリカ人の大多数が AI で検索しています。検索パターンの変化による二次的な影響は今年の後半に現れ、さらに多くの人が「私のトラフィックはどうなったのか?」と尋ねるでしょう。( AIは新しい流通チャネルであり、それをつかむ者は市場シェアを獲得するでしょう。 - ウィリアム・ギブソンはもっと遠い未来を見据えていました。 - これはSparkToroチャートの中点分析に基づいており、非常に単純な分析であり、結果として多少の誤差があります。

AI を扱う中で、私はボックスに何かを入力する前に立ち止まって、AI に何を期待しているのか、という質問を自問しています。 2x2が助けに!私はどのボックスにいますか? 一軸では、私がどれだけのコンテキストを提供するか:それほど多くはないか、かなりの量です。もう一方では、AIを見守るべきか、それとも動かせるべきか。 情報をほとんど提供せず、システムを稼働させると、「前方配備エンジニアの傾向を調査する」と、関連する詳細のない広範な概要という使い捨ての結果が得られます。 一連の短い質問で同じプロジェクトを実行すると、反復的な会話が成功し、探索が成功します。 「どの企業が前方配備エンジニア(FDE)を導入していますか?FDEの代表的な経歴とは?どのタイプの契約構造とビジネスがこの仕事に適していますか?」 間違いに対する許容度が非常に低い場合は、広範なコンテキストを提供し、AI と繰り返し作業します。ブログ投稿や財務分析の場合は、すべて (現在のドラフト、以前の著作、詳細な要件) を共有し、一文ずつ進めていきます。 エージェントを自由に実行させるには、すべてを事前に定義する必要があります。事前の作業では、正確な目標、包括的な情報、検証基準を含む詳細なタスクリスト、つまり概要など、非常に明確さが要求されるため、ここで成功することはめったにありません。 これらのプロンプトは、私がプロダクトマネージャーとして書いた製品要件ドキュメントのように見えます。 AI システムがより多くの情報にアクセスし、関連データの選択が向上するにつれて、「何を期待すればよいか」に対する答えは容易になります。自分が実際に望んでいることを明確に表現できるようになるにつれて、コラボレーションは改善されます。 私は、さらに多くの質問を左上のバケット(Google検索でどのように訓練されたか)から他の3つの象限に移すことを目指しています。 また、この習慣が人々とよりよく関わるのに役立つことを期待しています。

真ん中にある小さな黒いボックスは、機械学習のコードです。 私は、Googleの2015年の「Hidden Technical Debt in ML」という論文を読んで、機械学習アプリケーションが実際の機械学習としてどれほど少ないかを考えたことを覚えています。 その大部分は、インフラストラクチャ、データ管理、運用の複雑さでした。 AIの黎明期には、大規模な言語モデルがこれらのボックスを包含するように思われました。約束はシンプルさでした:LLMをドロップして、カスタマーサービスからコード生成まですべてを処理するのを見てください。複雑なパイプラインや脆弱な統合はもう必要ありません。 しかし、内部アプリケーションの構築では、AIでも同様のダイナミクスが観察されました。 エージェントは、人間のように多くのコンテキストを必要とします:CRMはどのように構成されているか、各フィールドに何を入力するか - しかし、入力は高価です ハングリー、ハングリーAIモデル。 コスト削減とは、AIの推論を置き換える決定論的なソフトウェアを作成することを意味します。 たとえば、メール管理を自動化するということは、Asana のタスクを作成し、CRM を更新するためのツールを作成することを意味します。 ツールの数が 10 個または 15 個を超えると、ツールの呼び出しは機能しなくなります。従来の機械学習モデルを起動してツールを選択する時が来ました。 次に、可観測性を持ってシステムを監視し、パフォーマンスがあるかどうかを評価し、適切なモデルにルーティングします。さらに、AIが想定どおりに動作することを確認するためのソフトウェアのカテゴリ全体があります。 ガードレールは、不適切な応答を防ぎます。レート制限は、システムがおかしくなったときにコストが制御不能になるのを防ぎます。 情報検索(RAG - retrieval augmented generation)は、あらゆる生産システムに不可欠です。私のメールアプリでは、LanceDBベクターデータベースを使用して、特定の送信者からのすべてのメールを検索し、そのトーンを一致させます。 グラフRAGと特殊なベクターデータベースに関するナレッジマネジメントのための他の手法があります。 最近では、記憶力が格段に重要になってきています。AI ツールのコマンドライン インターフェイスは、会話履歴をマークダウン ファイルとして保存します。 チャートを公開するときは、右下にTheory Venturesのキャプション、特定のフォント、色、スタイルが欲しいです。これらはすべて、一連のカスケードディレクトリの .gemini または .claude ファイル内に保存されるようになりました。 大規模な言語モデルの元々のシンプルさは、エンタープライズグレードの本番環境の複雑さに包含されています。 これは、前世代の機械学習システムと同一ではありませんが、明確な類似点があります。単純な「AIの魔法の箱」のように見えたものは、実際には氷山であり、エンジニアリング作業のほとんどが水面下に隠されています。

2025年がエージェントの年だとすれば、2026年は間違いなくエージェントマネージャーのものになるでしょう。 エージェントマネージャーは、AIエージェントのチームを管理できる人です。一人で何人をうまく管理できますか? 一度に4人のAIエージェントを管理するのがやっとです。彼らは説明を求め、許可を求め、ウェブ検索を行いますが、そのすべてが私の注意を必要とします。タスクに 30 秒かかることもあります。それ以外の場合は30分。どのエージェントが何をしているのかわからなくなり、指示を誤って解釈するため、作業の半分が捨てられます。 これはスキルの問題ではありません。これはツールの問題です。 物理ロボットは、ロボット マネージャーの生産性に関する手がかりを提供します。MITは2020年に、平均的なロボットが3.3人の人間の仕事を置き換えたことを示唆する分析を発表しました。2024年、Amazonはピックパックと出荷ロボットが24人の労働者を置き換えたと報告しました。 しかし、決定的な違いがあります:AIは非決定論的です。AIエージェントが指示を解釈します。彼らは即興で演奏します。彼らは時々、指示を完全に無視します。ルンバは、あなたのリビングルームを無視し、代わりにガレージに注意が必要だと判断する創造的な自由を夢見ることしかできません。 経営理論は、多くの場合、チームを7人の制御範囲に導きます。 優れたエージェントマネージャーと話すと、彼らはAIの作業を依頼し、評価するためのプロジェクト管理ツールであるエージェントインボックスを使用していることがわかりました。ソフトウェアエンジニアリングでは、GithubのプルリクエストまたはLinearチケットがこの目的を果たします。 非常に生産性の高いAIソフトウェアエンジニアは、10〜15のタスクを詳細に指定してAIに送信し、完了まで待ってから作業をレビューすることで、10〜15のエージェントを管理します。作業の半分は破棄され、改善されたプロンプトで再開されます。 エージェントの受信トレイは、まだ人気がありません。広くは利用できません。 しかし、将来のエージェントマネージャーにとって、生産性スタックの重要な部分になるのではないかと思います。なぜなら、それはいつでも入ってくる可能性のある作業を追跡する唯一の方法だからです。 従業員一人当たりのARRがスタートアップにとって新しいバニティメトリクスであるならば、一人当たりに管理されるエージェントは、ワーカーのバニティ生産性指標になるかもしれません。 12か月で、何人のエージェントを管理できると思いますか?10?50?100?他のエージェントを管理するエージェントを管理できますか?

「ああ、あなたのオフィスはフェリービルにあります、それはとても素晴らしいです、それはどんな感じですか」 「ノンストップのバスキング。会議は外でバグパイプ奏者によって中断されました。通りで次のサンタナの最前列の席。

過去10年間、スタートアップの研究開発予算の最大の項目は、予測可能な人材でした。しかし、AIはP&Lに進出しています。 スタートアップは、研究開発費のうち、AIにいくら費やすべきか? 10%?30%?60? 考慮すべき要素は3つあります。まず、シリコンバレーのソフトウェアエンジニアの平均給与です。2つ目は、そのエンジニアが使用するAIの総コストです。Cursorは現在、彼らのUltra Planで月額200ドルで、Devinのレビューでは月額500ドルを提案しています。3つ目は、エンジニアが管理できるエージェントの数です。 最初のパス : (最初の画像) しかし、サブスクリプションのコストはおそらく低いでしょう。ここ数日、私はAIコーディングエージェントと広範囲に遊んでいましたが、5日間で1,000ドルの請求書を積み上げました。😳😅 そこで、テーブルを更新して、エンジニア1人あたり月額1000ドルをもう1000ドルと仮定しましょう。 したがって、一般的なスタートアップ企業の場合、今日の総研究開発費の10〜15%がAIに使用される可能性があります。 このバリエーションは、私たち全員がAIをよりよく使うことを学び、AIが組織のより浸透するにつれて、実際にははるかに広範囲に及ぶでしょう。最初からAIネイティブである中小企業は、比率が大幅に高くなる可能性があります。 匿名の調査に参加することに興味がある場合は、サンプルサイズが統計的に有意な結果が得られるほど十分に大きい場合に結果を公開します。 調査はこちら: これは非常に単純化されたモデルであり、給与のみをレビューし、福利厚生、ハードウェア、開発およびテストインフラストラクチャなどは含めません。 これは、割引された個人体験のバイブコーディングに基づく見積もりです。

過去10年間、スタートアップの研究開発予算の最大の項目は、予測可能な人材でした。しかし、AIはP&Lに進出しています。 スタートアップは、研究開発費のうち、AIにいくら費やすべきか? 10%?30%?60? 考慮すべき要素は3つあります。まず、シリコンバレーのソフトウェアエンジニアの平均給与です。2つ目は、そのエンジニアが使用するAIの総コストです。Cursorは現在、彼らのUltra Planで月額200ドルで、Devinのレビューでは月額500ドルを提案しています。3つ目は、エンジニアが管理できるエージェントの数です。 最初のパス : (最初の画像) しかし、サブスクリプションのコストはおそらく低いでしょう。ここ数日、私はAIコーディングエージェントと広範囲に遊んでいましたが、5日間で1,000ドルの請求書を積み上げました。😳😅 そこで、テーブルを更新して、エンジニア1人あたり月額1000ドルをもう1000ドルと仮定しましょう。 したがって、一般的なスタートアップ企業の場合、今日の総研究開発費の10〜15%がAIに使用される可能性があります。 このバリエーションは、私たち全員がAIをよりよく使うことを学び、AIが組織のより浸透するにつれて、実際にははるかに広範囲に及ぶでしょう。最初からAIネイティブである中小企業は、比率が大幅に高くなる可能性があります。 匿名の調査に参加することに興味がある場合は、サンプルサイズが統計的に有意な結果が得られるほど十分に大きい場合に結果を公開します。 調査はこちら: これは非常に単純化されたモデルであり、給与のみをレビューし、福利厚生、ハードウェア、開発およびテストインフラストラクチャなどは含めません。 これは、割引された個人体験のバイブコーディングに基づく見積もりです。

AIにクエリを実行すると、AIはあなたに答えるための関連情報を収集します。 しかし、モデルにはどのくらいの情報が必要ですか? 実務家との会話から、彼らの直感が明らかになりました:インプットはアウトプットよりも~20倍大きかったのです。 しかし、詳細なトークン統計を出力するGeminiツールのコマンドラインインターフェイスを使用した私の実験では、はるかに高いことが明らかになりました。 平均で300倍、最大4000倍。 この高いインプットとアウトプットの比率が、AI を使用して構築する人にとって重要である理由は次のとおりです。 コスト管理は、インプットがすべてです。APIコールがトークンごとに価格設定されている場合、300:1の比率は、コストが答えではなくコンテキストによって決定されることを意味します。この価格設定のダイナミクスは、すべての主要なモデルに当てはまります。 OpenAIの価格ページでは、GPT-4.1の出力トークンは入力トークンの4倍の価格です。しかし、インプットが300倍膨大であっても、インプットコストは総請求額の98%にとどまります。 レイテンシはコンテキストサイズの関数です。ユーザーが回答を待つ時間を決定する重要な要素は、モデルが入力を処理するのにかかる時間です。 エンジニアリングの課題を再定義します。この観察は、LLMを使用して構築する際の主要な課題は、単に促すことではないことを証明しています。それはコンテクストエンジニアリングです。 重要なタスクは、効率的なデータ取得とコンテキストを構築すること、つまり、最適な情報を見つけ出し、それを可能な限り最小のトークンフットプリントに抽出できるパイプラインを作成することです。 キャッシングはミッションクリティカルになります。トークンの99%が入力に含まれている場合、頻繁に取得されるドキュメントや一般的なクエリコンテキストのための堅牢なキャッシングレイヤーを構築することは、「あれば便利」なものから、費用対効果が高くスケーラブルな製品を構築するための中核的なアーキテクチャ要件に移行します。 開発者にとって、入力の最適化に焦点を当てることは、コストを管理し、レイテンシを削減し、最終的にはAIを活用した製品を成功させるための重要な手段であることを意味します。

昨日、Figmaは美しくデザインされたS-1を提出しました。 これは、目覚ましい軌跡をたどる製品主導の成長(PLG)ビジネスを明らかにしています。Figmaのコラボレーションデザインツールプラットフォームは、アドビが長らく支配していたデザイン市場を混乱させました。 ここでは、両社が直近の会計年度の主要な指標をどのように比較しているかを示します[添付画像を参照]。 FigmaはAdobeの約3%のサイズですが、4倍の速さで成長します。粗利益は同じです。Figmaの132%のネットドルリテンションはトップ十分位です。 また、このデータでは、Figmaの研究開発費が販売・マーケティング費とほぼ同じであることも示されています。 これが最高のPLGモデルです。Figmaの製品は、その主要なマーケティングエンジンです。その協力的な性質により、バイラルなボトムアップの採用が促進され、クラス最高の1.0の販売効率につながります。2023年に販売とマーケティングに費やされた1ドルにつき、Figmaは2024年に新たな粗利益を生み出しました。アドビのボトムアップとセールス主導のモデルをブレンドしたモデルは、より典型的な0.39を生み出します。 S-1はリスクも強調しています。最も重要なのは、AI製品との競争です。FigmaはAIに多額の投資を行っていますが、このテクノロジーは新規参入者の障壁を低くします。Figmaの防御は、FigJam、Dev Mode、そして現在のSlides、Sites、Makeなどの製品で拡大しているプラットフォームです。 これらの新しい製品カテゴリーにより、多くのPLG AIソフトウェア企業は、記録的な速さで数千万から数億のARRを達成しました。 その高い成長とユニークなビジネスモデルを考えると、市場はFigmaをどのように評価すべきでしょうか?公開SaaS企業に基づく線形回帰を使用して、その将来の収益倍率を予測できます。このモデルは、収益成長率とバリュエーション倍率(R² = 0.23)との間には緩やかな相関関係があることを示しています。 Figmaは48%の成長を遂げており、NVIDIAを除けば、このコホートで最も急成長しているソフトウェア企業になります。Figmaが予想よりも高い評価を命じるべきであるという説得力のある主張をすることができます。その急成長、クラス最高の販売効率、そして情熱的で自己増殖するユーザーベースの組み合わせは稀です。 私たちのモデルの予測される19.9倍の倍率を適用して将来の収益を推定すると、推定IPO評価額は約210億ドル2となり、これは2022年にアドビが同社に提供した200億ドルのプレミアムとなります。 S-1は、コラボレーションデザイン製品を構築し、驚異的なPLGモーションを開発し、AIを積極的に推進しているカテゴリーを定義する企業の物語です。 アドビからの10億ドルの解約費用は、2023年12月に受領され、2024会計年度(2024年1月31日終了)に「その他の収入、純額」として計上されました。約9億ドルという巨額の株式報酬は、2024年5月の従業員公開買付けに関連しています。これらは両方とも、上記の非GAAPデータでは削除されています。 Figmaの直近12か月の成長率48.3%を15%(自然な成長の鈍化を説明するため)で差し引くと、モデルは41.1%の将来の成長予測を生成します。これは、約11億ドルのフォワード収益を意味します。