Há 384 GB de VRAM rápida na tinybox Blackwell 🧵

Ficámos fartos de usar ferramentas de fornecedores para testes de largura de banda, por isso escrevemos uma universal em tinygrad. As GPUs estão conectadas a PCIe 5.0 x16 completo.

O GEMM da torch em um único cartão é de 438 TFLOPS BF16 -> FP32. Isso coloca a máquina em 1,75 PFLOPS de desempenho real de GEMM.

Na mmapeak, estamos a 3.1 PFLOPS em todas as placas. Aqui é onde a falta de nerf do 5090 realmente se destaca, é mais do que o dobro dos FLOPS brutos de uma tinybox green v2!

Todas as nossas caixas Blackwell serão enviadas com o nosso mais recente array RAID. **55,3 GB/s** de largura de banda de leitura testada, que é mais rápido do que a RAM na maioria dos telemóveis.

Enquanto aguardamos pelo gpu-fryer, aqui está o mmapeak. **3.1 PFLOPS** nas placas fp16 -> fp32. É aqui que a falta de nerf do 5090 realmente se destaca, é mais do que o dobro dos FLOPS brutos de uma tinybox green v2!

Aqui está no huggingface/gpu-fryer. 2522W em plena potência, sem Max-Q por aqui!

As temperaturas finais à saturação após 15 minutos foram 72C, 80C, 71C e 76C. Estamos ainda a trabalhar na política do ventilador e no layout dos cartões, os refrigeradores são diferentes dos que já trabalhámos antes. Mas a máquina de envio será *pelo menos* tão boa.