Caută pe Google comparația performanțelor TPU v6e, AMD MI300X și NVIDIA H100/B200 este disponibilă! Benchmark-urile hardware Artificial Analysis arată că Nvidia este înaintea costurilor de inferență: de 5 ori numărul de tokenuri pe dolar înseamnă de 5 ori mai mult decât TPU v6e și de 2 ori mai mare decât AMD. La o rată de referință de 30 de token-uri/secundă, NVIDIA H100 costă doar 1,06 $ per milion de token-uri, comparativ cu 2,24 $ pentru MI300X și până la 5,13 $ pentru TPU v6e. TPU v7 este pe cale să fie lansat, un salt mare în performanță, dar prețul este necunoscut.

Rezultate detaliate ale performanței testelor de încărcare ale sistemului de analiză artificială cu scalare concomitentă.