De prestaties van Google TPU v6e, AMD MI300X en NVIDIA H100/B200 zijn vergeleken! De hardwarebenchmark van Artificial Analysis toont aan dat NVIDIA voorop loopt in de kosten voor inferentie: het aantal tokens per dollar is 5 keer dat van TPU v6e en 2 keer dat van AMD. Bij een referentietempo van 30 tokens per seconde zijn de kosten per miljoen tokens voor de NVIDIA H100 slechts $1,06, terwijl de MI300X $2,24 kost en de TPU v6e maar liefst $5,13. TPU v7 staat op het punt om uitgebracht te worden, met een grote sprong in prestaties, maar de prijs is onbekend.

Gedetailleerde resultaten van de prestatiebenchmarking van het Artificial Analysis-systeem bij belastingtests en hoe de prestaties zich uitbreiden met toenemende gelijktijdigheid.