Hardwarové benchmarkování SambaNova: Hardware Benchmarking od Artificial Analysis nyní zahrnuje DeepSeek R1 na SN40L RDU od SambaNova, což ukazuje lepší výkon než čipy NVIDIA H200 na většině testovaných úrovní souběžnosti ➤ Testovaný systém SN40L zvládá velikost dávek až do 256, dosahuje propustnosti systému ~4 700 tokenů za sekundu při a více než 256 současných požadavků ➤ Výsledky SambaNova byly pozoruhodné v rychlostech na uživatele, dosahující výrazně vyšších rychlostí při nízké úrovni souběžnosti než naše testované NVIDIA systémy a konfigurace ➤ Stejně jako u našich dalších testů inferenčních akcelerátorů používáme Artificial Analysis System Load Test pro propustnost systému napříč různými úrovněmi souběžnosti. Kompletní výsledky napříč různými úrovněmi souběžnosti a rychlostí jsou k dispozici na stránce Artificial Analysis Hardware Benchmarking ➤ Tyto výsledky kombinují konfigurace maximální propustnosti a minimální latence, aby dosáhly optimálního výkonu při rostoucí souběžnosti, podobně jako při testování systémů NVIDIA B200 Brzy budeme hodnotit a publikovat testy hardwaru SambaNova na dalších modelech.

Systém SambaNova si vede obzvlášť dobře při rychlosti dotazů na uživatele, s maximální výstupní rychlostí 269 tokenů za sekundu pro jednouživatelské zátěže. To je nejvyšší rychlost, kterou jsme naměřili na DeepSeek R1, a >3x maximální výstupní rychlost NVIDIA B200 pomocí TensorRT-LLM