デジタルデザイナーでない人には、こう考えてみてください。 1. TPUの規則的なデータ移動パターンは、より直線的な行列乗法にのみ効率的に使われます。 2. Nvidiaはあらゆる種類のデータ移動パターンを扱い、そのためにスループットや再順序操作に多くのハードウェアリソースを集中させています。 GPUははるかに複雑なアーキテクチャであり、C++のような単純な言語で汎用的な計算ができるという事実は、Nvidiaのコンパイラエンジニアがいかに優秀かを証明しています。