Hvis jeg var a16z, yc eller sequoia, ville jeg investert aggressivt i oppstartsbedrifter som bygger nye måter å samle inn og annotere virkelige data på. > Milliarder av timer med kjøredata > Fabrikkarbeidere som samhandler med apparater og tungt maskineri > Lydsegmentering med dyp dialektisk og kulturell forståelse > Våtlaboratorieeksperimentelle data > Kontinuerlig innsamling og annotering av agentspor i beregningsskala Da vi bygde LLM-er, fantes mesteparten av dataene allerede på internett. Vi måtte bare skrape, rense og skala. Men etter hvert som vi beveger oss mot verdensgrunnlagsmodeller, er flaskehalsen høykvalitets, virkelighetsnære og godt annoterte data. Og kvaliteten på annotasjonen betyr noe. Det er en enorm forskjell mellom: "Eple på et tre" og "Modne epler på et tre. Vinden blåser i 2 miles i timen. Temperaturen er rundt 18°C. ” Spørsmålet er enkelt. Hvor mye av verden kan du egentlig fange? I dag vet LLM-er at epler faller på grunn av tyngdekraften, ikke fordi de forstår kausalitet, men fordi de forstår språkkorrelasjoner svært godt. Å forstå den kausale strukturen kommer deretter. Hvis jeg skulle bygge mot den fremtiden, ville jeg forankret datainnsamling i India og andre regioner i Sør- og Sørøst-Asia. Jeg ville distribuert maskinvare, samlet tusenvis av timer med data om menneskelig aktivitet, helsesignaler og vitale tegn, og kjørt annotasjonspipelines kontinuerlig. Dag og natt. Hvis jeg var a16z, ville jeg finansiert gründere for å gjøre dette. Jeg får kanskje lyst til å gjøre det selv.