A comparação de desempenho entre o Google TPU v6e, AMD MI300X e NVIDIA H100/B200 foi divulgada! Os testes de benchmark de hardware da Artificial Analysis mostram que a NVIDIA lidera em custo de inferência: o número de tokens por dólar é 5 vezes maior que o do TPU v6e e 2 vezes maior que o da AMD. Com uma taxa de referência de 30 tokens/segundo, o custo por milhão de tokens da NVIDIA H100 é de apenas $1,06, enquanto o MI300X custa $2,24 e o TPU v6e chega a $5,13. O TPU v7 será lançado em breve, com um grande avanço de desempenho, mas o preço ainda é desconhecido.

Resultados detalhados de como os testes de carga do sistema de Análise Artificial realizam testes de benchmark de desempenho à medida que a concorrência se expande.