谷歌 TPU v6e、AMD MI300X 和英伟达 H100/B200 性能对比出炉！ Artificial Analysis 硬件基准测试显示，英伟达在推理成本上领先：每美元 token 数量是 TPU v6e 的 5 倍、AMD 的 2 倍。 在 30 token/秒的参考速率下，英伟达 H100 每百万 token 成本仅 $1.06，而 MI300X 为 $2.24，TPU v6e 高达 $5.13。 TPU v7 即将发布，性能大跃进，但定价未知。

Artificial Analysis系统负载测试对性能如何随并发扩展进行基准测试的详细结果。