Ten, kdo vynalezl architekturu čipu v 99 % všech procesorů, říká, že GPU NVIDIA jsou pro tuto éru AI zcela špatně postavené... Jeho argument: GPU byly navrženy pro trénink. Ale inference, kde se vydělávají všechny peníze, je zásadně jiný problém Je to vázané na paměť a sekvenční. A žádný čip nikdy nebyl speciálně navržen pro to. Každé GPU a TPU používané dnes pro inferenci je jen zmenšený tréninkový čip. Skutečným úzkým hrdlem je paměť. A každý trend, který je v oboru nejvíc nadšený (MoE, uvažování, dlouhý kontext, multimodální), problém s pamětí ještě zhoršuje. Další hardwarový cyklus $100B+ vyhraje ten, kdo první vyřeší paměťovou stěnu