Benchmarking sprzętu SambaNova: Benchmarking sprzętu Artificial Analysis teraz obejmuje DeepSeek R1 na RDU SN40L SambaNova, pokazując lepsze wyniki w porównaniu do chipów NVIDIA H200 w większości testowanych poziomów współbieżności ➤ Testowany system SN40L obsługuje rozmiary partii do 256, osiągając przepustowość systemu na poziomie ~4,700 tokenów na sekundę przy 256 równoczesnych żądaniach i więcej ➤ Wyniki SambaNova były uderzające pod względem prędkości na użytkownika, osiągając znacznie wyższe prędkości przy niskich poziomach współbieżności niż nasze testowane systemy i konfiguracje NVIDIA ➤ Podobnie jak w przypadku naszych innych testów akceleratorów wnioskowania, używamy Testu Obciążenia Systemu Artificial Analysis do pomiaru przepustowości systemu w różnych poziomach współbieżności. Pełne wyniki w różnych poziomach współbieżności i prędkości są dostępne na stronie Benchmarking sprzętu Artificial Analysis ➤ Wyniki te łączą maksymalną przepustowość i minimalne konfiguracje opóźnienia, aby uzyskać optymalną wydajność w miarę wzrostu współbieżności, podobnie jak w naszych testach systemów B200 firmy NVIDIA Wkrótce ocenimy i opublikujemy testy sprzętu SambaNova na dodatkowych modelach.

System SambaNova działa szczególnie dobrze pod względem prędkości zapytań na użytkownika, osiągając maksymalną prędkość wyjściową 269 tokenów na sekundę dla obciążeń jednego użytkownika. To najwyższa prędkość, jaką zmierzyliśmy na DeepSeek R1, i >3x maksymalna prędkość wyjściowa NVIDIA B200 przy użyciu TensorRT-LLM