Er is 384 GB snelle VRAM in de Blackwell tinybox 🧵

We waren het zat om leveranciershulpmiddelen te gebruiken voor bandbreedtetests, dus hebben we er een universele geschreven in tinygrad. De GPU's zijn verbonden met volledige PCIe 5.0 x16

De torch GEMM op een enkele kaart is 438 TFLOPS BF16 -> FP32. Dat brengt de machine op 1,75 PFLOPS aan echte GEMM-prestaties.

Bij mmapeak hebben we 3,1 PFLOPS over de kaarten. Hier komt het gebrek aan de nerf van de 5090 echt tot zijn recht, het is meer dan het dubbele van de ruwe FLOPS van een tinybox green v2!

Al onze Blackwell-dozen worden verzonden met onze nieuwste RAID-array. **55,3 GB/s** aan gemeten leesbandbreedte, wat sneller is dan het RAM op de meeste mobiele telefoons.

Terwijl we wachten op de gpu-fryer, hier is mmapeak. **3.1 PFLOPS** over de kaarten fp16 -> fp32. Hier komt de afwezigheid van de nerf van de 5090 echt tot zijn recht, het is meer dan het dubbele van de ruwe FLOPS van een tinybox green v2!

Hier is het in de huggingface/gpu-fryer. 2522W op volle kracht, geen Max-Q hier!

Eindtemperaturen bij verzadiging na 15 minuten waren 72C, 80C, 71C en 76C. We werken nog steeds aan het ventilatorbeleid en de indeling van de kaarten, de koelsystemen zijn anders dan wat we eerder hebben gebruikt. Maar de verzendmachine zal *minstens* zo goed zijn.