全プロセッサの99%に搭載されているチップアーキテクチャを発明した人は、NVIDIAのGPUはこの時代のAIにはまったく合わないと言っています... 彼の主張は、GPUはトレーニング用に設計されている、というものでした。しかし、すべてのお金が稼げる推論は根本的に異なる問題です メモリに縛られ、連続しています。そして、それ専用に設計されたチップはこれまで一度もありません。今日推論に使われているすべてのGPUやTPUは、単なる縮小されたトレーニングチップに過ぎません。 本当のボトルネックはメモリです。そして業界が最も注目しているトレンド(MoE、推論、長いコンテキスト、マルチモーダル)はメモリ問題を悪化させています。 次の1億ドル+のハードウェアサイクルは、メモリウォールを最初に解決した方が勝ちます