Der Typ, der die Chip-Architektur erfunden hat, die in 99 % aller Prozessoren verwendet wird, sagt, dass die GPUs von NVIDIA völlig falsch für diese Ära der KI gebaut sind… Sein Argument: GPUs wurden für das Training entwickelt. Aber Inferenz, wo das ganze Geld verdient wird, ist ein grundlegend anderes Problem. Es ist speichergebunden und sequenziell. Und kein Chip wurde jemals speziell dafür entworfen. Jeder GPU und TPU, der heute für die Inferenz verwendet wird, ist einfach ein verkleinerter Trainingschip. Der echte Engpass ist der Speicher. Und jeder Trend, über den die Branche am meisten begeistert ist (MoE, Schlussfolgerungen, langer Kontext, multimodal), verschärft das Speicherproblem. Der nächste Hardware-Zyklus über 100 Milliarden Dollar wird von demjenigen gewonnen, der die Speicherwand zuerst löst.