Pesquisa no Google TPU v6e, comparação de desempenho AMD MI300X e NVIDIA H100/B200 já está disponível! Benchmarks de hardware de Análise Artificial mostram que a Nvidia está à frente em custos de inferência: 5 vezes o número de tokens por dólar é 5 vezes o do TPU v6e e 2 vezes o da AMD. Com uma taxa de referência de 30 tokens/segundo, o NVIDIA H100 custa apenas $1,06 por milhão de tokens, comparado a $2,24 para o MI300X e até $5,13 para TPU v6e. A TPU v7 está prestes a ser lançada, um grande salto de desempenho, mas o preço é desconhecido.

Resultados detalhados do desempenho de benchmarking de testes de carga do sistema de Análise Artificial com escalonamento concorrente.