Vyhledejte na Googlu TPU v6e, AMD MI300X a srovnání výkonu NVIDIA H100/B200 je venku! Hardwarové benchmarky Artificial Analysis ukazují, že Nvidia je v nákladech na inferenci napřed: 5krát více tokenů za dolar je 5krát více než u TPU v6e a 2krát více než u AMD. Při referenčním tempu 30 tokenů za sekundu stojí NVIDIA H100 pouze 1,06 $ za milion tokenů, zatímco MI300X stojí $2,24 a TPU v6e až $5,13. TPU v7 má být brzy uveden na trh, což je velký skok ve výkonu, ale cena zatím není známa.

Podrobné výsledky testu zátěže systému umělé analýzy při benchmarkování s současným škálováním.