Google TPU v6e, AMD MI300X och NVIDIA H100/B200 prestandajämförelse är ute! Artificial Analysis hårdvarubenchmarks visar att Nvidia ligger före i inferenskostnader: 5 gånger antalet tokens per dollar är 5 gånger så mycket som TPU v6e och 2 gånger så mycket som AMD. Med en referenstakt på 30 tokens/sekund kostar NVIDIA H100 endast 1,06 dollar per miljon tokens, jämfört med 2,24 dollar för MI300X och upp till 5,13 dollar för TPU v6e. TPU v7 är på väg att släppas, ett stort prestandahopp, men priset är okänt.

Detaljerade resultat av Artificial Analysis-systemets belastningstestprestanda med samtidig skalning.