Ci sono 384 GB di VRAM veloce nella Blackwell tinybox 🧵

Ci siamo stancati di utilizzare strumenti dei fornitori per i test di larghezza di banda, quindi ne abbiamo scritto uno universale in tinygrad. Le GPU sono collegate a piena velocità PCIe 5.0 x16

Il torch GEMM su una singola scheda è di 438 TFLOPS BF16 -> FP32. Questo porta la macchina a 1,75 PFLOPS di prestazioni GEMM reali.

Da mmapeak, siamo a 3.1 PFLOPS su tutte le schede. Qui è dove la mancanza del nerf del 5090 brilla davvero, è più del doppio dei FLOPS grezzi di un tinybox green v2!

Tutte le nostre Blackwell box saranno spedite con il nostro ultimo array RAID. **55,3 GB/s** di larghezza di banda di lettura testata, che è più veloce della RAM sulla maggior parte dei telefoni cellulari.

Mentre aspettiamo il gpu-fryer, ecco mmapeak. **3.1 PFLOPS** tra le schede fp16 -> fp32. Qui è dove la mancanza del nerf del 5090 brilla davvero, è più del doppio dei FLOPS grezzi di un tinybox green v2!

Ecco qui nel huggingface/gpu-fryer. 2522W a piena potenza, niente Max-Q qui!

Le temperature finali a saturazione dopo 15 minuti erano 72°C, 80°C, 71°C e 76°C. Stiamo ancora lavorando sulla politica delle ventole e sul layout delle schede, i dissipatori sono diversi da quelli con cui abbiamo lavorato in precedenza. Ma la macchina da spedire sarà *almeno* così buona.