8億ドルの会社が存在するのは、評価があまりにも壊れていて、創業者が同じ内部ツールを2社で2回作らなければ誰も支払わなかったからです。 最初は自分のスタートアップで。そしてFigmaのAIチームを率いていました。どちらも同じ問題でした。AI機能をリリースするチームは、出力が良くなっているのか悪くなっているのかを構造的に把握する方法がありませんでした。彼らは雰囲気をチェックしていた。出力を手動で読み取る。推測だ。 > それがBrainTrustの始まりです。そして今ではVercel、Replit、Ramp、Zapier、Notion、Airtableの各社が使っています。 この数字を改めて考えると、実際に機能するAI製品を手掛ける企業は1日に12.8件の評価実験を行っています。そのリズムを考えてみてください。私が話すほとんどのAIチームは月に12.8マイルの稼働をしているわけではありません。 このフレームワークは人々が思うよりもシンプルです。 すべての評価は3つの要素で構成されています:製品が処理する入力の集合、出力を生成するタスク、そして0から1の間の数値を生成するスコアリング関数です。今回のエピソードでは、カメラの前で一から一から作り上げました。スコアは0から0.75に20分未満で急上昇しました。 評価は新しいPRDになりつつあります。現在評価インフラを構築するPMたちは、バイブチェックを続けるPMが全く及べない形で製品品質を複合的に向上させるでしょう。 その隙間はすでに広がり始めています。