Facet, który wynalazł architekturę chipów wewnątrz 99% wszystkich procesorów, mówi, że GPU NVIDIA są całkowicie źle zaprojektowane na tę erę AI… Jego argument: GPU zostały zaprojektowane do treningu. Ale wnioskowanie, gdzie zarabia się wszystkie pieniądze, to zasadniczo inny problem. Jest to problem związany z pamięcią i sekwencyjny. I żaden chip nigdy nie został zaprojektowany specjalnie do tego. Każdy GPU i TPU używane do wnioskowania dzisiaj to po prostu pomniejszona wersja chipu do treningu. Prawdziwym wąskim gardłem jest pamięć. A każdy trend, którym przemysł jest najbardziej podekscytowany (MoE, rozumowanie, długi kontekst, multimodalność) pogarsza problem z pamięcią. Następna cykl sprzętowy wart ponad 100 miliardów dolarów wygra ten, kto pierwszy rozwiąże problem pamięci.