Es gibt 384 GB schnellen VRAM im Blackwell tinybox 🧵

Wir hatten genug davon, Anbieter-Tools für Bandbreitentests zu verwenden, also haben wir ein universelles Tool in tinygrad geschrieben. Die GPUs sind über PCIe 5.0 x16 vollständig verbunden.

Die Torch GEMM auf einer einzelnen Karte erreicht 438 TFLOPS BF16 -> FP32. Das bringt die Maschine auf 1,75 PFLOPS echte GEMM-Leistung.

Bei mmapeak erreichen wir 3,1 PFLOPS über die Karten. Hier zeigt sich wirklich, wo das Fehlen der Drosselung des 5090 glänzt, es ist mehr als doppelt so viel wie die rohen FLOPS eines tinybox green v2!

Alle unsere Blackwell-Boxen werden mit unserem neuesten RAID-Array versendet. **55,3 GB/s** an benchmarked Lese-Bandbreite, die schneller ist als der RAM der meisten Handys.

Während wir auf den gpu-fryer warten, hier ist mmapeak. **3,1 PFLOPS** über die Karten fp16 -> fp32. Hier zeigt sich wirklich, wo das Fehlen der Drosselung des 5090 glänzt, es ist mehr als doppelt so viel rohe FLOPS wie bei einer tinybox green v2!

Hier ist es im huggingface/gpu-fryer. 2522W bei voller Leistung, kein Max-Q hier!

Die Endtemperaturen bei Sättigung nach 15 Minuten betrugen 72 °C, 80 °C, 71 °C und 76 °C. Wir arbeiten noch an der Lüfterpolitik und dem Layout der Karten, die Kühler sind anders als das, womit wir zuvor gearbeitet haben. Aber die Versandmaschine wird *mindestens* so gut sein.