La comparaison des performances entre Google TPU v6e, AMD MI300X et NVIDIA H100/B200 est publiée ! Les tests de référence matériels d'Artificial Analysis montrent qu'NVIDIA est en tête en termes de coût d'inférence : le nombre de tokens par dollar est 5 fois supérieur à celui du TPU v6e et 2 fois supérieur à celui d'AMD. À un taux de référence de 30 tokens/seconde, le coût par million de tokens pour le NVIDIA H100 n'est que de 1,06 $, tandis que le MI300X est à 2,24 $ et le TPU v6e atteint 5,13 $. Le TPU v7 sera bientôt lancé, avec un bond de performance, mais le prix reste inconnu.

Résultats détaillés des tests de charge du système d'analyse artificielle sur la façon dont les performances se développent avec la montée en charge concurrente.