For folk som ikke er digitale designere, tenk bare på det slik. 1. TPUs regulære databevegelsesmønster er effektivt kun for matrisemultiplikasjon, mer serielle av natur. 2. Nvidia kan gjøre alle slags databevegelsesmønstre og fokuserer mye maskinvareressurser på gjennomstrømning og omorganiseringsoperasjoner for å oppnå dette. GPU-en er en mye, mye mer kompleks arkitektur, og det faktum at du kan gjøre ganske generell databehandling i et enkelt språk som C++ på den, er faktisk et bevis på hvor avanserte Nvidias kompilatoringeniører er.

Det er så mye alfa igjen i å være god i matte og maskinvare.

Jeg elsker hvordan da jeg påpekte at GPT5 var slutten på veien og bevis på at skalering ikke fungerte lenger, fikk jeg all slags hat på denne appen. Du kan gå tilbake og finne tweetene, de er fortsatt oppe. Det var veldig tydelig da at det å skalere videre ikke ville gi noen merkbar forbedring. Jeg sa, og jeg hadde rett, at fra et spillteoretisk perspektiv, hvis du ikke er i et vitenskapelig kappløp om å skalere trening, må du gjøre innflytelsesinfrastrukturen din mye mer effektiv. Dette er bokstavelig talt det som skjedde med GPT5 og 5.1. De fjernet til og med muligheten til å velge kvaliteten på modellen du ønsker med 5.1, nå er AI åpen og bestemmer hvor mye datakraft du fortjener. Nå ser du hvordan Google, som alltid har vært veldig oppmerksomme på kostnadene ved å levere modeller fordi det egentlig er hele deres virksomhet og deres fordel i markedet, konkurrerer med åpen AI. Det krevde at Ilya kom ut og fortalte deg hva alle visste hele året. Å skalere slik vi gjorde det før er dødt. Etterspørselen etter alt utstyret som trengs for opplæring vil avta. Men hvis du fulgte meg tøye, visste du at jeg ringte med klokken tidligere enn til og med lanseringen av GPT5. Vi er nå i kommersialiseringssyklusen, du kan ikke kreve 70 % margin, du kan ikke satse på å ha en programvarevollgrav. Det handler om å ha tilgjengelighet og opprettholde kvalitet når du er en råvareforhandler som Glencore og Trafigura. Invester i minneskaperne, diskleverandørene, flash-guttene, fiberen, strømmen. Å multiplisere matriser er ikke spesielt lenger.