Hay 384 GB de VRAM rápida en la tinybox Blackwell 🧵

Nos cansamos de usar herramientas de proveedores para pruebas de ancho de banda, así que escribimos una universal en tinygrad. Las GPU están conectadas a través de PCIe 5.0 x16 completo.

El GEMM de torch en una sola tarjeta es de 438 TFLOPS BF16 -> FP32. Eso coloca a la máquina en 1.75 PFLOPS de rendimiento real de GEMM.

En mmapeak, estamos en 3.1 PFLOPS en las tarjetas. Aquí es donde la falta de nerfeo de la 5090 realmente brilla, ¡es más del doble de los FLOPS brutos de un tinybox green v2!

Todas nuestras cajas Blackwell se enviarán con nuestro último arreglo RAID. **55.3 GB/s** de ancho de banda de lectura evaluado, que es más rápido que la RAM en la mayoría de los teléfonos móviles.

Mientras esperamos el gpu-fryer, aquí está mmapeak. **3.1 PFLOPS** a través de las tarjetas fp16 -> fp32. Aquí es donde la falta de nerfeo del 5090 realmente brilla, ¡es más del doble de los FLOPS brutos de un tinybox green v2!

Aquí está en el huggingface/gpu-fryer. 2522W a plena potencia, ¡nada de Max-Q por aquí!

Las temperaturas finales en saturación después de 15 minutos fueron 72C, 80C, 71C y 76C. Aún estamos trabajando en la política de ventiladores y el diseño de las tarjetas, los refrigeradores son diferentes de los que hemos trabajado antes. Pero la máquina de envío será *al menos* tan buena.