Il y a 384 Go de VRAM rapide dans la tinybox Blackwell 🧵

Nous en avions assez d'utiliser des outils de fournisseur pour les tests de bande passante, alors nous en avons écrit un universel dans tinygrad. Les GPU sont connectés en pleine PCIe 5.0 x16

Le GEMM torch sur une seule carte est de 438 TFLOPS BF16 -> FP32. Cela place la machine à 1,75 PFLOPS de performance GEMM réelle.

Chez mmapeak, nous atteignons 3,1 PFLOPS sur les cartes. C'est là que l'absence de nerf du 5090 brille vraiment, c'est plus du double des FLOPS bruts d'un tinybox green v2 !

Tous nos boîtiers Blackwell seront expédiés avec notre dernier ensemble RAID. **55,3 Go/s** de bande passante de lecture mesurée, ce qui est plus rapide que la RAM de la plupart des téléphones portables.

En attendant le gpu-fryer, voici mmapeak. **3,1 PFLOPS** sur les cartes fp16 -> fp32. C'est là que le manque de nerf du 5090 brille vraiment, c'est plus du double des FLOPS bruts d'une tinybox green v2 !

Voici dans le huggingface/gpu-fryer. 2522W à pleine puissance, pas de Max-Q par ici !

Les températures finales à saturation après 15 minutes étaient de 72C, 80C, 71C et 76C. Nous travaillons encore sur la politique des ventilateurs et la disposition des cartes, les refroidisseurs sont différents de ceux avec lesquels nous avons travaillé auparavant. Mais la machine d'expédition sera *au moins* aussi bonne.