Kina är inte känt för känslomässiga beslut, så ta detta till nominellt värde.

.@JDVance + bästisarna!!

Båda är enorma. Tack för er uppmärksamhet på denna fråga!!

En intressant fotnot i AI-kriget kommer att vara hur The Bitter Lesson tillämpas på det humankapital som arbetar med AI. Å ena sidan finns denna anställningsrunda (Google, Microsoft, Meta) och de typer av anställningar (doktorer, mänskliga experter) som görs just nu, jämfört med den andra sidan xAI-metoden (dator- och syntetisk strategi). Betala en person 1 miljard USD ELLER köp 1 miljard USD mer beräkning.

.@JonathanRoss321 (uppfinnaren och fadern till TPU) och jag gjorde detta vad 2017. @GroqInc är nu den snabbaste inferenslösningen på marknaden idag. Här är några lärdomar hittills: - om vi antar att vi kommer till Super Intelligence och sedan General Intelligence, kommer hela spelet att konvergera till Inference. Designarkitekturen för Inference kunde inte skilja sig mer från den för träning. Helt andra överväganden om minne och ström. Snabbhet är av största vikt. - Börja på en beprövad, billig processnod med hög tillgänglighet och håll dig på den kurvan. Staplingskomplexitet (dvs. 2nm) och avkastningsproblem i ett inferenschip kommer att resultera i en kostnad per utgångstoken som inte kommer att vara meningsfull kommersiellt. - Det handlar om modelltillgänglighet och mångfald. Om ditt chip i huvudsak är en ASIC för en modell måste du antingen använda den i megaskala internt (dvs. Google och TPU) eller så måste du uppmuntra appföretag att bygga till den (dvs. Amazon med Anthropic och Inferentia). Hur som helst, jag är ett stort av riktningen, men Meta måste undvika några gropar i genomförandestrategin. Jag önskar dem lycka till - fler lösningar är bättre imo.

Eller vem det nu är som gör Dojo... Åh vänta!

En viktig följd av detta för dem som vill ha betydelse på nätet: Inflytande och popularitet är övningar med absolut värde. Negativ eller positiv uppmärksamhet spelar ingen roll. Det viktiga är att befolkningen pratar om dig och inte om någon annan. När du mäter din prenumerant-/följartillväxt på detta sätt kommer du att se att detta gömmer sig i vanlig syn.

Coinbase skickade mig ett av deras sällsynta minneskort Satoshi Nakamoto Coinbase One (1 av 21). Sugen på att skaffa min egen i höst som kommer med 4% tillbaka via Bitcoin. Länge leve BTC! Tack, det är bra, @coinbase @brian_armstrong @immuneeb

"Det tog många år av att spy upp all smuts som jag hade lärt mig om mig själv, och halvt trott på, innan jag kunde gå på jorden som om jag hade rätt att vara här." ― James Baldwin

Med alla framsteg som görs i modellkvalitet på "generiskt kisel" av de grundläggande modelltillverkarna, är det dags att vända modellerna själva på uppgiften att designa sitt eget specialiserade kisel per användningsfall. Detta händer i liten utsträckning just nu, men utbudsbegränsningar bör tvinga fler modelltillverkare att inse behovet av att designa anpassat kisel. Vissa begränsningar är dock viktiga för den här designutmaningen. Det viktigaste är att upprätthålla en användbar design vid en processnod som inte är i framkant så att du inte skapar leveransbegränsningar eller avkastningsproblem och inte kämpar med fysiken på elektronnivå. Den andra skulle vara hur du designar minnesanvändning - cache v HBM per användningsfall är en uppenbar paradox. Kylning är en annan. Jag har arbetat med en fantastisk ingenjör som designar en CO2-kyld värmepump. Om det fungerar bör rack, system och chip överväga det och arbeta för att dra nytta av dessa olika kyldynamik eftersom det ger färre begränsningar. Osv etc etc. Hur som helst, det är bara klart för mig att om fem år kommer vi att se tillbaka och kiselmångfalden kommer att ha exploderat. Jag förväntar mig att se massor av tillkännagivanden om nya chips som börjar med förträning och sedan blöder till slutsats.