Et paradoksalt forhold i teknologi, relatert til Jevons paradoks, men litt skjevt: AI-brikker er tilgjengelige i dag Men du kan implementere mer effektive brikker om 3 år Hva haster det med? En teknologi midt i en rask kostnadsnedgang deler nesten nødvendigvis markedet mellom de som mener at tilgang til dårligere teknologi i dag vil gi dem en mye bedre posisjon i fremtiden, og de som mener det er best å operere en eller to noder bak. Kostnaden for å generere tokens kollapser. Likevel betaler leverandører av AI-modeller dyrt – det samme gjør brukerne deres – for å generere tokens i dag som vil se sørgelig ineffektive ut i morgen. Enten er de aggressive brukerne villedet, eller så må tidskostnaden ved å ikke generere tokens overstige selv den bratte ytelseskurven tokengenereringen følger. På maskinvarebasis – med unntak av arkitektoniske forbedringer – halveres kostnaden for å generere tokens omtrent årlig. Dette må bety at den opplevde avkastningen på tokengenerering er minst 100 % årlig. En gigawatt med datakraft i dag er like verdifullt som 2 GW neste år. Dette fører nesten uunngåelig til romberegning. Følsom for ulike input, ser det ut til at rombasert AI-beregning blir kostnadseffektiv sammenlignet med jordbasert AI-beregning per token, med omtrent 400 dollar per kilo i oppskytningskostnader. Selv om det ikke er der ennå, bør Starship i rimelige volumer – det vi forventet at SpaceX skulle levere innen 2030 før romberegningsmuligheten oppsto – krysse denne kostnadsgrensen. Viktigere enn kostnad er imidlertid tid. AI-selskaper sulter nå på fiaskoer. I hele bransjen forventer vi at terrestriske datasentre vil installere 90 GW i 2030, etter å ha bygget opp 250 GW til nå og da. Dette er mulig, men aggressivt, gitt hvor vanskelig det er å bygge ekte infrastruktur på steder befolket av ekte mennesker (som kanskje kaster seg foran en bulldoser fordi de leste den boken som overdrev datasenterets vannforbruk med tusen ganger). ...