Lite djupa eftertankar kring affärsmodellen för frontier-modellen. Allt detta grundar sig i siffror som läckt av The Information, NYT, etc. 🔵Kärnan: Det är en datorbränningsmaskin I grunden är modellen brutalt enkel: nästan alla kostnader kommer från beräkningar – inferens, och särskilt träning. Utbildningen följer något som en skalningslag. Låt oss anta att kostnaderna ökar ~5 gånger varje år; och ROI på utbildningskostnader är dubbelt så bra. Det skapar en konstig dynamik: Kostnad för utbildning under år 1: 1 År 2:s intäkter från den modellen: 2 Men år 2:s utbildningskostnad för nästa modell: 5 Netto: +2 - 5 = -3 Kör det framåt och det blir värre: Intäkter för år 3: +10 År 3:s utbildningskostnad: -25 Net: -15 Frontier-modellerna, som de används idag, är snöbollar med negativt kassaflöde. Varje generation bränner mer pengar än den föregående. För att detta någonsin ska kunna övergå till positivt kassaflöde kan bara två saker logiskt förändras: A. Intäkterna växer mycket snabbare än dubbelt så, eller B. Tillväxten i utbildningskostnaderna saktar ner från 5 gånger per år till ungefär <2 gånger Anthropics VD Dario Amodei har brutit ner scenario B ("utbildningskostnaderna slutar växa exponentiellt") i två möjliga verkligheter: 1/ Fysiska/ekonomiska begränsningar: Du kan helt enkelt inte träna en modell fem gånger större — för få chip, för lite kraft, annars närmar sig kostnaden världens BNP....