Benchmarking de hardware da SambaNova: O Benchmarking de Hardware da Artificial Analysis agora inclui o DeepSeek R1 no RDU SN40L da SambaNova, mostrando desempenho superior em comparação com os chips NVIDIA H200 em quase todos os níveis de concorrência testados ➤ O sistema SN40L testado lida com tamanhos de lote de até 256, alcançando uma taxa de transferência do sistema de ~4.700 tokens por segundo em 256 solicitações concorrentes e além ➤ Os resultados da SambaNova foram impressionantes em termos de velocidades por usuário, alcançando velocidades substancialmente mais altas em níveis de concorrência baixos do que nossos sistemas e configurações NVIDIA testados ➤ Assim como em nossos outros testes de aceleradores de inferência, usamos o Teste de Carga do Sistema da Artificial Analysis para a taxa de transferência do sistema em uma variedade de níveis de concorrência. Resultados completos em uma variedade de níveis de concorrência e velocidade estão disponíveis na página de Benchmarking de Hardware da Artificial Analysis ➤ Esses resultados combinam configurações de máxima taxa de transferência e mínima latência para produzir desempenho ideal à medida que a concorrência aumenta, de forma semelhante aos nossos testes dos sistemas B200 da NVIDIA Em breve, estaremos avaliando e publicando testes de hardware da SambaNova em modelos adicionais.

O sistema da SambaNova apresenta um desempenho particularmente bom em termos de velocidade de consulta por utilizador, com uma velocidade de saída máxima de 269 tokens por segundo para cargas de trabalho de utilizador único. Esta é a velocidade mais alta que medimos no DeepSeek R1, e >3x a velocidade de saída máxima da NVIDIA B200 usando TensorRT-LLM