Benchmarking du matériel SambaNova : Le benchmarking matériel d'Artificial Analysis inclut désormais le DeepSeek R1 sur le RDU SN40L de SambaNova, montrant une surperformance par rapport aux puces NVIDIA H200 à travers la plupart des niveaux de concurrence testés ➤ Le système SN40L testé gère des tailles de lot allant jusqu'à 256, atteignant un débit système d'environ 4 700 tokens par seconde à et au-delà de 256 requêtes concurrentes ➤ Les résultats de SambaNova étaient frappants en termes de vitesses par utilisateur, atteignant des vitesses nettement plus élevées à faibles niveaux de concurrence que nos systèmes et configurations NVIDIA testés ➤ Comme pour nos autres tests d'accélérateurs d'inférence, nous utilisons le test de charge système d'Artificial Analysis pour le débit système à travers une gamme de niveaux de concurrence. Les résultats complets à travers une gamme de niveaux de concurrence et de vitesse sont disponibles sur la page de benchmarking matériel d'Artificial Analysis ➤ Ces résultats combinent des configurations de débit maximum et de latence minimum pour produire des performances optimales à mesure que la concurrence augmente, de manière similaire à nos tests des systèmes B200 de NVIDIA Nous évaluerons et publierons bientôt des tests du matériel SambaNova sur d'autres modèles.

Le système de SambaNova fonctionne particulièrement bien en termes de vitesse de requête par utilisateur, avec une vitesse de sortie maximale de 269 tokens par seconde pour des charges de travail à utilisateur unique. C'est la vitesse la plus élevée que nous avons mesurée sur DeepSeek R1, et >3x la vitesse de sortie maximale du NVIDIA B200 utilisant TensorRT-LLM