SambaNova-laitteistovertailu: Artificial Analysisin laitteistovertailu sisältää nyt DeepSeek R1:n SambaNovan SN40L RDU:lla, mikä osoittaa paremman suorituskyvyn verrattuna NVIDIA H200 -piireihin useimmilla testatuilla samanaikaisuustasoilla ➤ Testattu SN40L-järjestelmä käsittelee jopa 256 eräkokoa, saavuttaen järjestelmän läpimenon ~4 700 tokenia sekunnissa 256 samanaikaisessa pyynnössä ja sen yli ➤ SambaNovan tulokset olivat vaikuttavia käyttäjäkohtaisissa nopeuksissa, saavuttaen huomattavasti korkeammat nopeudet matalilla rinnakkaistasoilla kuin testatut NVIDIA-järjestelmämme ja kokoonpanomme ➤ Kuten muissakin päättelykiihdytintesteissämme, käytämme Artificial Analysis System Load Testiä järjestelmän läpimenon mittaamiseen useilla samanaikaisilla tasoilla. Täydelliset tulokset eri rinnakkais- ja nopeustasoilla löytyvät Artificial Analysis Hardware Benchmarking -sivulta ➤ Nämä tulokset yhdistävät maksimaalisen läpimenon ja minimiviiveasetukset tuottaakseen optimaalisen suorituskyvyn samanaikaisuuden kasvaessa, samoin kuin NVIDIA:n B200-järjestelmien testaus Arvioimme ja julkaisemme pian SambaNovan laitteistotestejä lisämalleissa.

SambaNovan järjestelmä suoriutuu erityisen hyvin käyttäjäkohtaisen kyselynopeuden osalta, huippunopeudella 269 tokenia sekunnissa yksikäyttäjätyökuormissa. Tämä on korkein nopeus, jonka olemme mittanneet DeepSeek R1:llä, ja >3-kertainen huippulähtönopeus verrattuna NVIDIA B200:aan TensorRT-LLM:llä