O núcleo 6 pode expressar todo o movimento.

A sintaxe ainda é um pouco desajeitada, mas em breve as camadas LLM, o acúmulo de gradiente e os loops de treinamento não serão escritos com loops for do Python. Parafraseando Halide: "separe a especificação dos detalhes de compilação e programação", exceto que especificaremos execuções de treinamento inteiras de US $ 100 milhões.

A linha @__tinygrad__ tinybox está ficando legítima. Cinco construídos até agora esta semana.

derrubar a NVIDIA? 🤨 nós ❤️ NVIDIA! tinybox verde v2 com 4x5090 está sendo enviado agora

Agora com fusão de loop e sem recomputação. Se você pode construir um "compilador" do qual a atenção do flash simplesmente cai, imagine o que mais ele poderia fundir.

Quando a especificação de tinygrad estiver pronta, quero que pareça que veio do LIVRO. Isso não é engenharia, é engenharia reversa da Natureza.

Todos os pedidos pendentes serão enviados até o final da semana. Estamos construindo um lote inteiro de caixas verdes (relacionadas à foto), faça o pedido hoje e você terá a sua em breve! (também temos apenas uma caixa vermelha restante. você deve comprá-lo, ele está esperando um tempo para ir para uma boa casa)

.@AMD @AnushElangovan Você pode abrir o código rocprof-trace-decoder? Este repositório é apenas um binário do Linux: Estamos usando-o para adicionar funcionalidade semelhante a RGP ao VIZ: O OSS o tornará portátil para Mac e (espero) terá um cabeçalho com a API.

Sua biblioteca de transformadores está fundindo o FFN em um kernel "flash"? Acho que há ganhos enormes possíveis, curioso para saber qual é a prática comum e a pesquisa SOTA?

Isso está enterrando um pouco o lede, que é que com uma pequena mudança você também pode fazer ReLU(A @ B) @ C em matrizes NxN com N intermediários e sem recomputação. (também conhecido como: uma rede neural.)