Un'azienda da 800 milioni di dollari esiste perché le valutazioni erano così difettose che il fondatore ha dovuto costruire due volte lo stesso strumento interno, in due aziende diverse, prima che qualcuno decidesse di pagarlo. Prima nella sua startup. Poi di nuovo guidando il team AI di Figma. Stesso problema entrambe le volte: i team che lanciavano funzionalità AI non avevano un modo strutturato per sapere se i risultati stavano migliorando o peggiorando. Stavano controllando le vibrazioni. Leggendo manualmente i risultati. Indovinando. > È così che è iniziato BrainTrust. E ora Vercel, Replit, Ramp, Zapier, Notion e Airtable lo usano tutti. Il numero che riformula questo: le aziende i cui prodotti AI funzionano davvero stanno eseguendo 12,8 esperimenti di valutazione al giorno. Pensate a quel ritmo. La maggior parte dei team AI con cui parlo non esegue 12,8 al mese. Il framework è più semplice di quanto le persone si aspettino. Ogni valutazione è composta da tre elementi: un insieme di input che il tuo prodotto gestisce, un compito che genera output e una funzione di punteggio che produce un numero tra 0 e 1. In questo episodio, ne abbiamo costruito uno da zero davanti alla telecamera. Il punteggio è passato da 0 a 0,75 in meno di 20 minuti. Le valutazioni stanno diventando il nuovo PRD. I PM che costruiscono l'infrastruttura di valutazione ora stanno per accumulare qualità del prodotto in un modo che i PM che continuano a controllare le vibrazioni semplicemente non possono eguagliare. Il divario si sta già aprendo.