Der Leistungsvergleich zwischen Google TPU v6e, AMD MI300X und NVIDIA H100/B200 ist veröffentlicht worden!\nDie Hardware-Benchmark-Tests von Artificial Analysis zeigen, dass NVIDIA bei den Kosten für die Inferenz führend ist: Die Anzahl der Tokens pro Dollar ist 5-mal höher als bei TPU v6e und 2-mal höher als bei AMD.\n\nBei einer Referenzrate von 30 Tokens/Sekunde betragen die Kosten für NVIDIA H100 nur $1,06 pro Million Tokens, während MI300X $2,24 kostet und TPU v6e bis zu $5,13.\nTPU v7 wird bald veröffentlicht, mit einem großen Leistungssprung, aber die Preisgestaltung ist unbekannt.

Detaillierte Ergebnisse der Lasttests des Artificial Analysis-Systems zur Leistungsbewertung, wie sich die Leistung mit zunehmender Parallelität skaliert.