Benchmarking de hardware de SambaNova: El benchmarking de hardware de Artificial Analysis ahora incluye DeepSeek R1 en el RDU SN40L de SambaNova, mostrando un rendimiento superior en comparación con los chips NVIDIA H200 en la mayoría de los niveles de concurrencia probados ➤ El sistema SN40L probado maneja tamaños de lote de hasta 256, alcanzando un rendimiento del sistema de ~4.700 tokens por segundo y más allá de 256 solicitudes concurrentes ➤ Los resultados de SambaNova fueron sorprendentes en velocidades por usuario, alcanzando velocidades sustancialmente mayores y con bajos niveles de concurrencia que nuestros sistemas y configuraciones NVIDIA probados ➤ Como en nuestras otras pruebas aceleradoras de inferencia, utilizamos la Prueba de Carga del Sistema de Análisis Artificial para el rendimiento del sistema en una variedad de niveles de concurrencia. Los resultados completos en una variedad de niveles de concurrencia y velocidad están disponibles en la página de Benchmarking de Hardware de Análisis Artificial ➤ Estos resultados combinan configuraciones de máximo rendimiento y latencia mínima para producir un rendimiento óptimo a medida que aumenta la concurrencia, de forma similar a nuestras pruebas con los sistemas B200 de NVIDIA Pronto evaluaremos y publicaremos pruebas del hardware de SambaNova en modelos adicionales.

El sistema de SambaNova funciona especialmente bien en la velocidad de consulta por usuario, con una velocidad máxima de salida de 269 tokens por segundo para cargas de trabajo de un solo usuario. Esta es la velocidad más alta que hemos medido en DeepSeek R1, y > 3 veces la velocidad máxima de salida de NVIDIA B200 usando TensorRT-LLM