Fyren som oppfant brikkearkitekturen inne i 99 % av alle prosessorer sier at NVIDIAs GPU-er er helt feil bygget for denne AI-æraen... Hans argument: GPU-er var designet for trening. Men slutning, hvor alle pengene tjenes, er et fundamentalt annet problem Den er minnebundet og sekvensiell. Og ingen chip har noen gang blitt designet spesielt for det. Hver GPU og TPU som brukes til slutning i dag, er bare en nedskalert treningsbrikke. Den virkelige flaskehalsen er hukommelsen. Og hver trend bransjen er mest begeistret for (MoE, resonnement, lang kontekst, multimodal) gjør hukommelsesproblemet verre. Neste maskinvaresyklus på 100 milliarder dollar vinnes av den som først løser minneveggen