¡Se ha publicado la comparación de rendimiento entre Google TPU v6e, AMD MI300X y NVIDIA H100/B200! Las pruebas de referencia de Artificial Analysis muestran que NVIDIA lidera en costos de inferencia: la cantidad de tokens por dólar es 5 veces mayor que la de TPU v6e y 2 veces mayor que la de AMD. A una tasa de referencia de 30 tokens/segundo, el costo por millón de tokens de NVIDIA H100 es de solo $1.06, mientras que el de MI300X es de $2.24 y el de TPU v6e alcanza los $5.13. El TPU v7 se lanzará pronto, con un gran avance en rendimiento, pero el precio es desconocido.

Resultados detallados de las pruebas de carga del sistema Artificial Analysis sobre cómo se realiza la evaluación del rendimiento a medida que se expande la concurrencia.