¡Busca en Google TPU v6e, AMD MI300X y la comparación de rendimiento NVIDIA H100/B200! Los benchmarks de hardware de Análisis Artificial muestran que Nvidia va por delante en costes de inferencia: 5 veces el número de tokens por dólar es 5 veces el de TPU v6e y 2 veces el de AMD. A una tasa de referencia de 30 tokens por segundo, el NVIDIA H100 cuesta solo 1,06 $ por millón de tokens, en comparación con 2,24 $ para el MI300X y hasta 5,13 $ para TPU v6e. El TPU v7 está a punto de lanzarse, un gran salto en rendimiento, pero el precio es desconocido.

Resultados detallados del rendimiento de pruebas de carga del sistema de Análisis Artificial con escalado concurrente.