Perbandingan kinerja Google TPU v6e, AMD MI300X dan NVIDIA H100/B200 sudah keluar! Tolok ukur perangkat keras Analisis Buatan menunjukkan bahwa Nvidia unggul dalam biaya inferensi: 5 kali jumlah token per dolar adalah 5 kali lipat dari TPU v6e dan 2 kali lipat dari AMD. Pada tingkat referensi 30 token/detik, NVIDIA H100 hanya berharga $1,06 per juta token, dibandingkan dengan $2,24 untuk MI300X dan hingga $5,13 untuk TPU v6e. TPU v7 akan segera dirilis, lompatan besar dalam kinerja, tetapi harga tidak diketahui.

Hasil terperinci dari kinerja benchmarking uji beban sistem Analisis Buatan dengan penskalaan bersamaan.