SambaNova Hardware-Benchmarking: Das Hardware-Benchmarking von Artificial Analysis umfasst jetzt DeepSeek R1 auf SambaNova’s SN40L RDU und zeigt eine Überlegenheit im Vergleich zu NVIDIA H200-Chips über die meisten getesteten Parallelitätsstufen hinweg. ➤ Das getestete SN40L-System verarbeitet Batch-Größen von bis zu 256 und erreicht eine Systemdurchsatzrate von ~4.700 Tokens pro Sekunde bei und über 256 gleichzeitigen Anfragen. ➤ Die Ergebnisse von SambaNova waren bemerkenswert hinsichtlich der Geschwindigkeiten pro Benutzer und erreichten bei niedrigen Parallelitätsstufen deutlich höhere Geschwindigkeiten als unsere getesteten NVIDIA-Systeme und -Konfigurationen. ➤ Wie bei unseren anderen Tests von Inferenzbeschleunigern verwenden wir den Artificial Analysis System Load Test für den Systemdurchsatz über eine Reihe von Parallelitätsstufen. Vollständige Ergebnisse über eine Reihe von Parallelitäts- und Geschwindigkeitsstufen sind auf der Seite zum Hardware-Benchmarking von Artificial Analysis verfügbar. ➤ Diese Ergebnisse kombinieren maximale Durchsatz- und minimale Latenzkonfigurationen, um eine optimale Leistung zu erzielen, während die Parallelität zunimmt, ähnlich wie bei unseren Tests der NVIDIA B200-Systeme. Wir werden bald Tests von SambaNova-Hardware an weiteren Modellen evaluieren und veröffentlichen.

Das System von SambaNova erzielt besonders gute Ergebnisse bei der Abfragegeschwindigkeit pro Benutzer, mit einer Spitzenleistung von 269 Tokens pro Sekunde für Einzelbenutzer-Workloads. Dies ist die höchste Geschwindigkeit, die wir bei DeepSeek R1 gemessen haben, und >3x die Spitzenleistung des NVIDIA B200 mit TensorRT-LLM.