Kina er ikke kjent for emosjonelle beslutninger, så ta dette for pålydende.

.@JDVance + bestevennene!!

Begge er enorme. Takk for oppmerksomheten på denne saken!!

En interessant fotnote i AI-krigene vil være hvordan The Bitter Lesson gjelder for den menneskelige kapitalen som jobber med AI. På den ene siden er denne ansettelsesrunden (Google, Microsoft, Meta) og den typen ansettelser (doktorgrader, menneskelige eksperter) som gjøres akkurat nå kontra den andre siden xAI-tilnærmingen (datamaskin og syntetiske tilnærminger). Betal én person $1 milliard ELLER kjøp $1 milliard mer databehandling.

.@JonathanRoss321 (oppfinneren og faren til TPU) og jeg gjorde dette veddemålet i 2017. @GroqInc er nå den raskeste slutningsløsningen på markedet i dag. Her er noen lærdommer så langt: - hvis vi antar at vi kommer til Super Intelligence og deretter General Intelligence, vil hele spillet konvergere til Inference. Designarkitekturen for Inference kunne ikke vært mer annerledes enn for Training. Helt forskjellige minne- og strømhensyn. Hastighet er avgjørende. - Start på en velprøvd, billig og svært tilgjengelig prosessnode og hold deg på den kurven. Stabling av kompleksitet (dvs. 2nm) og avkastningsproblemer i en Inference-brikke vil resultere i en kostnad per utgangstoken som ikke vil gi mening kommersielt. - Det handler om modelltilgjengelighet og mangfold. Hvis brikken din i hovedsak er en ASIC for én modell, må du enten bruke den i megaskala internt (dvs. Google og TPU), eller du må oppmuntre appselskaper til å bygge til den (dvs. Amazon med Anthropic og Inferentia). Uansett, jeg er en stor fan av retningen, men Meta må unngå noen jettegryter i utførelsesstrategien. Jeg ønsker dem lykke til - flere løsninger er bedre imo.

Eller hvem som helst som lager Dojo ... Å vent!

En viktig konsekvens av dette for de som ønsker online betydning: Innflytelse og popularitet er øvelser av absolutt verdi. Negativ eller positiv oppmerksomhet spiller ingen rolle. Det som betyr noe er at befolkningen snakker om deg og ikke noen andre. Når du måler abonnent-/følgerveksten din på denne måten, vil du se at dette gjemmer seg i vanlig syn.

Coinbase sendte meg et av deres sjeldne minnekort Satoshi Nakamoto Coinbase One (1 av 21). Gleder meg til å få min egen til høsten som kommer med 4 % tilbake via Bitcoin. Lenge leve BTC! Takk @coinbase @brian_armstrong @immuneeb

«Det tok mange år med å kaste opp all skitten jeg hadde lært om meg selv, og halvt trodd, før jeg var i stand til å gå på jorden som om jeg hadde rett til å være her.» ― James Baldwin

Med all fremgangen som gjøres i modellkvalitet på "generisk silisium" av de grunnleggende modellprodusentene, er det på tide å gjøre modellene selv til oppgaven med å designe sitt eget spesialiserte silisium per brukstilfelle. Dette skjer i liten grad akkurat nå, men forsyningsbegrensninger bør tvinge flere modellprodusenter til å innse behovet for å designe tilpasset silisium. Noen begrensninger er imidlertid viktige for denne designutfordringen. Det viktigste er å opprettholde et nyttig design på en ikke-banebrytende prosessnode, slik at du ikke skaper forsyningsbegrensninger eller avkastningsproblemer og ikke kjemper mot fysikk på elektronnivå. Det andre ville være hvordan du designer minnebruk - cache v HBM per brukstilfelle er et åpenbart paradoks. Kjøling er enda en annen. Jeg har jobbet med en flott ingeniør med å designe en CO2-kjølt varmepumpe. Hvis det fungerer, bør rack, systemer og brikker vurdere det og jobbe for å dra nytte av disse forskjellige kjøledynamikkene fordi det gir færre begrensninger. Osv osv osv. Uansett, det er bare klart for meg at om fem år vil vi se tilbake og silisiummangfoldet vil ha eksplodert. Jeg forventer å se massevis av kunngjøringer om nye brikker som starter med pre-training og deretter blør til slutning.