Benchmarking hardware di SambaNova: il benchmarking hardware di Artificial Analysis ora include DeepSeek R1 sul RDU SN40L di SambaNova, mostrando prestazioni superiori rispetto ai chip NVIDIA H200 nella maggior parte dei livelli di concorrenza testati ➤ Il sistema SN40L testato gestisce dimensioni di batch fino a 256, raggiungendo una capacità di sistema di ~4.700 token al secondo a e oltre 256 richieste concorrenti ➤ I risultati di SambaNova sono stati sorprendenti in termini di velocità per utente, raggiungendo velocità sostanzialmente più elevate a bassi livelli di concorrenza rispetto ai nostri sistemi e configurazioni NVIDIA testati ➤ Come con i nostri altri test di acceleratori di inferenza, utilizziamo il Test di Carico del Sistema di Artificial Analysis per la capacità di sistema attraverso una gamma di livelli di concorrenza. I risultati completi su una gamma di livelli di concorrenza e velocità sono disponibili sulla pagina di Benchmarking Hardware di Artificial Analysis ➤ Questi risultati combinano configurazioni di massima capacità e minima latenza per produrre prestazioni ottimali man mano che la concorrenza aumenta, in modo simile ai nostri test dei sistemi B200 di NVIDIA Valuteremo e pubblicheremo presto test dell'hardware di SambaNova su modelli aggiuntivi.

Il sistema di SambaNova si comporta particolarmente bene in termini di velocità di query per utente, con una velocità di output massima di 269 token al secondo per carichi di lavoro a utente singolo. Questa è la velocità più alta che abbiamo misurato su DeepSeek R1, e >3 volte la velocità di output massima della NVIDIA B200 utilizzando TensorRT-LLM