Společnost za 800 milionů dolarů existuje proto, že hodnocení byla tak rozbitá, že zakladatel musel vyrobit stejný interní nástroj dvakrát, ve dvou různých firmách, než za něj někdo zaplatil. Nejprve ve svém vlastním startupu. Pak opět vedl AI tým ve Figmě. Stejný problém oběma případy: týmy, které dodávaly AI funkce, neměly strukturovaný způsob, jak zjistit, zda se výstupy zlepšují nebo zhoršují. Kontrolovali atmosféru. Ruční čtení výstupů. Hádám. > Tak vznikl BrainTrust. A teď ho používají Vercel, Replit, Ramp, Zapier, Notion a Airtable. Číslo, které to přeformuluje: firmy, jejichž AI produkty skutečně fungují, provádějí 12,8 hodnotících experimentů denně. Zamyslete se nad tím rytmem. Většina AI týmů, se kterými mluvím, nepoužívá 12,8 za měsíc. Systém je jednodušší, než se očekává. Každé hodnocení je tři věci: sada vstupů, které váš produkt zpracovává, úkol, který generuje výstupy, a hodnotící funkce, která generuje číslo mezi 0 a 1. V této epizodě jsme si jeden postavili od nuly přímo před kamerou. Skóre se zlepšilo z 0 na 0,75 za méně než 20 minut. Hodnocení se stávají novým PRD. PM, kteří nyní budují evaluační infrastrukturu, budou kvalitu produktu zvyšovat způsobem, který PM, kteří neustále kontrolují vibe, prostě nemohou naplnit. Mezera se už otevírá.