Blackwellin pienessä laatikossa 🧵 on 384 GB nopeaa VRAM-tiedostoa

Kyllästyimme käyttämään toimittajien työkaluja kaistanleveysteihin, joten kirjoitimme universaalin työkalun tinygradissa. Näytönohjaimet on kytketty täysillä PCIe 5.0 x16 -reaktiolla

Yhden kortin soihtujen GEMM on 438 TFLOPS BF16 -> FP32. Tämä asettaa koneen todelliseen GEMM-suorituskykyyn 1,75 PFLOPS.

Mmapeakissa meillä on 3,1 PFLOPS-arvoa kaikissa korteissa. Tässä 5090:n heikennyksen puute todella korostuu – se on yli kaksinkertainen verrattuna pieneen vihreään v2:een!

Kaikki Blackwell-laatikomme toimitetaan uusimman RAID-järjestelmämme kanssa. **55,3 GB/s** vertailukaistanleveyttä, mikä on nopeampaa kuin useimpien matkapuhelimien RAM-muisti.

Kun odotamme näytönohjaimen friteeraajaa, tässä on mmapeak. **3.1 PFLOPS** kortteilla fp16 - > fp32. Tässä 5090:n heikennyksen puute todella korostuu – se on yli kaksinkertainen verrattuna pieneen vihreään v2:een!

Tässä se on huggingface/gpu-fryerissä. 2522W täydellä teholla, ei Max-Q:ta täällä!

Lopulliset kyllästymislämpötilat 15 minuutin jälkeen olivat 72C, 80C, 71C ja 76C. Työskentelemme vielä tuuletinpolitiikan ja korttien asettelun parissa, jäähdyttimet ovat erilaiset kuin mitä olemme aiemmin käyttäneet. Mutta lähetyskone on *vähintään* tämän hyvä.