Google TPU v6e, AMD MI300X og NVIDIA H100/B200 ytelsessammenligning er ute! Artificial Analysis maskinvarebenchmarks viser at Nvidia ligger foran i slutningskostnader: 5 ganger antall tokens per dollar er 5 ganger så mange som TPU v6e og 2 ganger så mange som AMD. Med en referanserate på 30 tokens per sekund koster NVIDIA H100 bare 1,06 dollar per million tokens, sammenlignet med 2,24 dollar for MI300X og opptil 5,13 dollar for TPU v6e. TPU v7 er i ferd med å bli lansert, et stort sprang i ytelse, men prisen er ukjent.

Detaljerte resultater av Artificial Analysis-systemets belastningstest-ytelse med samtidig skalering.