Een bedrijf van $800 miljoen bestaat omdat evaluaties zo gebroken waren dat de oprichter dezelfde interne tool twee keer moest bouwen, bij twee verschillende bedrijven, voordat iemand ervoor wilde betalen. Eerst bij zijn eigen startup. Toen weer terwijl hij het AI-team bij Figma leidde. Hetzelfde probleem beide keren: teams die AI-functies uitbrachten, hadden geen gestructureerde manier om te weten of de uitkomsten beter of slechter werden. Ze deden een vibe-check. Lezen handmatig de uitkomsten. Gokken. > Zo is BrainTrust begonnen. En nu gebruiken Vercel, Replit, Ramp, Zapier, Notion en Airtable het allemaal. Het getal dat dit herdefinieert: de bedrijven wiens AI-producten daadwerkelijk werken, voeren 12,8 evaluatie-experimenten per dag uit. Denk aan die frequentie. De meeste AI-teams waarmee ik praat, voeren er niet eens 12,8 per maand uit. Het kader is eenvoudiger dan mensen verwachten. Elke evaluatie bestaat uit drie dingen: een set invoer die jouw product verwerkt, een taak die uitkomsten genereert, en een scoringsfunctie die een getal tussen 0 en 1 produceert. In deze aflevering hebben we er een vanaf nul gebouwd voor de camera. De score ging van 0 naar 0,75 in minder dan 20 minuten. Evaluaties worden de nieuwe PRD. De PM's die evaluatie-infrastructuur bouwen, gaan de productkwaliteit op een manier verhogen die PM's die blijven vibe-checken simpelweg niet kunnen evenaren. De kloof opent zich al.