Бенчмаркинг оборудования SambaNova: Бенчмаркинг оборудования Artificial Analysis теперь включает DeepSeek R1 на SN40L RDU от SambaNova, показывая превосходство по сравнению с чипами NVIDIA H200 на большинстве протестированных уровнях параллелизма. ➤ Тестируемая система SN40L обрабатывает размеры пакетов до 256, достигая пропускной способности системы ~4,700 токенов в секунду при 256 и более параллельных запросах. ➤ Результаты SambaNova были впечатляющими по скорости на пользователя, достигая значительно более высоких скоростей на низких уровнях параллелизма, чем наши протестированные системы и конфигурации NVIDIA. ➤ Как и в случае с другими тестами ускорителей вывода, мы используем тест нагрузки системы Artificial Analysis для измерения пропускной способности системы на различных уровнях параллелизма. Полные результаты по различным уровням параллелизма и скорости доступны на странице Бенчмаркинга оборудования Artificial Analysis. ➤ Эти результаты объединяют максимальную пропускную способность и минимальные конфигурации задержки для достижения оптимальной производительности по мере увеличения параллелизма, аналогично нашим тестам систем B200 от NVIDIA. Мы будем оценивать и публиковать тесты оборудования SambaNova на дополнительных моделях в ближайшее время.

Система SambaNova особенно хорошо работает по скорости запросов на пользователя, с пиковой скоростью вывода 269 токенов в секунду для однопользовательских нагрузок. Это самая высокая скорость, которую мы измерили на DeepSeek R1, и более чем в 3 раза превышает пиковой скорости вывода NVIDIA B200 с использованием TensorRT-LLM