lakmustesten for om en LLM-produktidé er god eller ikke, er om en Frontier-modell kan gjøre 95%+ av oppgaven akkurat nå rett ut av boksen. hvis svaret er ja — kode; skriving; danne før befolkningen; RAG + CHAT — Da er nå bra.

IMVs verste sted er produkter hvor modellene er omtrent 80 % av veien dit. For å få det til å fungere må du gjøre mye prompt-håndtering, legge spesialistkunnskap over hverandre osv. — med andre ord, jobbe for å posisjonere deg til å tape hvis modellene forbedres, og tape hvis de ikke gjør det

Kanskje du kan gjette hvor langt unna du er ved å ta hvor gode modellene er nå og dele gapet til 95+ på hvor mye de forbedret seg i oppgaven i den siste generasjonen. For mange oppgaver på 80 % er det sannsynligvis som... 4-5 år? Lengre tid for agenter

I mange av disse vertikalene mistenker jeg at etablerte produkter vil bli slått ut av nye aktører nettopp av denne grunn — de vil ha brukt kapital på å løse problemer som nye konkurrenter vil løse direkte fra API-et

I tillegg vil de ha fordelen av å ha sett suksessrike selskaper i andre vertikaler løse grensesnitt- og vekstproblemer (slik vi har sett i sosiale medier og SaaS)

spesielt sant fordi jeg mistenker at mange LLM-produkter allerede er presset av konkurranse fra store selskaper til å adoptere forretningsmodeller som er lettere å utvikle fra, og derfor vil ha liten låsing når bedre konkurrenter dukker opp