Benchmarking de hardware de SambaNova: El benchmarking de hardware de Artificial Analysis ahora incluye DeepSeek R1 en el RDU SN40L de SambaNova, mostrando un rendimiento superior en comparación con los chips NVIDIA H200 en la mayoría de los niveles de concurrencia probados. ➤ El sistema SN40L probado maneja tamaños de lote de hasta 256, alcanzando un rendimiento del sistema de ~4,700 tokens por segundo en y más allá de 256 solicitudes concurrentes. ➤ Los resultados de SambaNova fueron sorprendentes en cuanto a las velocidades por usuario, alcanzando velocidades sustancialmente más altas en niveles de baja concurrencia que nuestros sistemas y configuraciones NVIDIA probados. ➤ Al igual que con nuestras otras pruebas de aceleradores de inferencia, utilizamos la Prueba de Carga del Sistema de Artificial Analysis para el rendimiento del sistema a través de una variedad de niveles de concurrencia. Los resultados completos a través de una gama de niveles de concurrencia y velocidad están disponibles en la página de Benchmarking de Hardware de Artificial Analysis. ➤ Estos resultados combinan configuraciones de máximo rendimiento y mínima latencia para producir un rendimiento óptimo a medida que aumenta la concurrencia, de manera similar a nuestras pruebas de los sistemas B200 de NVIDIA. Evaluaremos y publicaremos pruebas de hardware de SambaNova en modelos adicionales pronto.

El sistema de SambaNova funciona particularmente bien en la velocidad de consulta por usuario, con una velocidad de salida máxima de 269 tokens por segundo para cargas de trabajo de un solo usuario. Esta es la velocidad más alta que hemos medido en DeepSeek R1, y >3x la velocidad de salida máxima de NVIDIA B200 utilizando TensorRT-LLM