GoogleでTPU v6e、AMD MI300X、NVIDIA H100/B200のパフォーマンス比較を紹介します! Artificial Analysisのハードウェアベンチマークによると、Nvidiaは推論コストでリードしています。1ドルあたりトークン数の5倍はTPU v6eの5倍、AMDの2倍です。 基準レートは30トークン/秒で、NVIDIA H100は100万トークンあたりわずか1.06ドルで、MI300Xの2.24ドル、TPU v6eの最大5.13ドルと比べて高い価格です。 TPU v7がまもなくリリースされ、性能の大きな飛躍ですが、価格は不明です。

人工解析システムの負荷テスト性能ベンチマーキングと並行スケーリングの詳細な結果。