800 miljoonan dollarin yritys on olemassa, koska arvioinnit olivat niin rikki, että perustajan piti rakentaa sama sisäinen työkalu kahdesti, kahdessa eri yrityksessä, ennen kuin kukaan maksoi siitä. Ensin omassa startupissaan. Toisaalta taas Figman tekoälytiimin johtaminen. Sama ongelma molemmilla kerroilla: tekoälyominaisuuksia toimittavilla tiimeillä ei ollut rakenteellista tapaa tietää, paranevatko vai huononevat tulokset. He tarkistivat tunnelmaa. Manuaalinen ulostulon lukeminen. Arvaan. > Näin BrainTrust sai alkunsa. Ja nyt Vercel, Replit, Ramp, Zapier, Notion ja Airtable käyttävät sitä kaikki. Luku, joka muuttaa tätä: yritykset, joiden tekoälytuotteet todella toimivat, suorittavat 12,8 arviointikokeilua päivässä. Ajattele sitä rytmiä. Useimmat tekoälytiimit, joiden kanssa puhun, eivät käytä 12,8 kuukaudessa. Kehys on yksinkertaisempi kuin ihmiset odottavat. Jokainen arviointi on kolme asiaa: joukko syötteitä, joita tuotteesi käsittelee, tehtävä, joka tuottaa tuloksia, ja pisteytysfunktio, joka tuottaa luvun välillä 0–1. Tässä jaksossa rakensimme yhden alusta alkaen kameran edessä. Pisteet nousivat 0:sta 0,75:een alle 20 minuutissa. Arvioinnit ovat muodostumassa uudeksi PRD:ksi. Ne projektipäälliköt, jotka rakentavat arviointiinfrastruktuuria nyt, tulevat parantamaan tuotteen laatua tavalla, johon ne projektipäälliköt, jotka jatkuvasti tarkistavat tunnelmaa, eivät yksinkertaisesti pysty vastaamaan. Ero avautuu jo.