Апаратний бенчмаркинг SambaNova: Hardware Benchmarking від Artificial Analysis тепер включає DeepSeek R1 на SN40L RDU від SambaNova, що демонструє перевищення продуктивності порівняно з чипами NVIDIA H200 на більшості тестованих рівнів паралелізму ➤ Тестована система SN40L обробляє пакетні розміри до 256, досягаючи пропускної здатності системи ~4 700 токенів на секунду при 256 одночасних запитах ➤ Результати SambaNova вражали швидкість на користувача, досягаючи значно вищих швидкостей при низьких рівнях паралелізму, ніж наші протестовані системи та конфігурації NVIDIA ➤ Як і в нашому іншому тестуванні прискорювачів виведення, ми використовуємо тест навантаження системи штучного аналізу для пропускної здатності системи на різних рівнях паралелізму. Повні результати за різними рівнями паралелізму та швидкості доступні на сторінці бенчмаркінгу апаратного апаратного забезпечення штучного аналізу ➤ Ці результати поєднують конфігурації максимальної пропускної здатності та мінімальної затримки для досягнення оптимальної продуктивності при зростанні конкурентності, подібно до нашого тестування систем NVIDIA B200 Незабаром ми оцінимо та опублікуємо тести апаратного забезпечення SambaNova на нових моделях.

Система SambaNova особливо добре працює на швидкості запитів на користувача, з максимальною швидкістю виводу 269 токенів на секунду для однокористувацьких навантажень. Це найвища швидкість, яку ми виміряли на DeepSeek R1, і >3 рази більша за пікову швидкість виходу NVIDIA B200 за TensorRT-LLM