Litt dyp refleksjon rundt forretningsmodellen med grensemodell. Alt dette er basert på tall lekket av The Information, NYT, osv. 🔵Kjernen: Det er en Compute-Burn-maskin I bunn og grunn er modellen brutalt enkel: nesten alle kostnader kommer fra beregning – inferens, og spesielt trening. Opplæringen følger noe som ligner en skaleringslov. La oss anta at kostnadene øker ~5 ganger hvert år; og ROI på opplæringskostnader er 2 ganger. Det skaper en merkelig dynamikk: År 1 opplæringskostnad: 1 Inntekter for år 2 fra den modellen: 2 Men opplæringskostnaden for neste modell i år 2: 5 Nettopp: +2 - 5 = -3 Kjør det fremover, og det blir verre: Inntekter for år 3: +10 Opplæringskostnad for år 3: -25 Netto til: -15 Frontier-modellene, slik de drives nå, er snøballer med negativ kontantstrøm. Hver generasjon bruker mer penger enn den forrige. For at dette noen gang skal snu til positiv kontantstrøm, kan bare to ting logisk endres: A. Inntektene vokser mye raskere enn 2 ganger, eller B. Veksten i opplæringskostnadene avtar fra 5 ganger i året til noe som <2 ganger Anthropics administrerende direktør Dario Amodei har brutt ned scenario B ("opplæringskostnadene slutter å vokse eksponentielt") i to mulige realiteter: 1/ Fysiske/økonomiske begrensninger: Du kan rett og slett ikke trene en modell fem ganger større — for få brikker, for lite kraft, ellers nærmer kostnaden seg verdens BNP....