Os 6 principais podem expressar todo o movimento.

A sintaxe ainda é um pouco desajeitada, mas em breve as camadas LLM, a acumulação de gradientes e os ciclos de treinamento não serão escritos com loops em Python. Parafraseando Halide: "separe a especificação dos detalhes de compilação e agendamento", exceto que iremos especificar corridas de treinamento inteiras de $100M.

A linha tinybox do @__tinygrad__ está a ficar legítima. Já foram construídas cinco esta semana.

derrubar a NVIDIA? 🤨 Nós ❤️ a NVIDIA! tinybox verde v2 com 4x5090 está sendo enviado agora

Agora com fusão de loops e sem recomputação. Se você conseguir construir um "compilador" do qual a atenção flash simplesmente surge, imagine o que mais ele poderia fundir.

Quando a especificação do tinygrad estiver pronta, quero que pareça que veio do LIVRO. Isso não é engenharia, isso é engenharia reversa da Natureza.

Todos os pedidos pendentes serão enviados até ao final da semana. Estamos a construir um lote inteiro de caixas verdes (foto relacionada), encomende hoje e terá a sua em breve! (também temos apenas uma caixa vermelha disponível. Você deveria comprá-la, ela está à espera há algum tempo para ir para um bom lar)

.@AMD @AnushElangovan Você pode abrir o código-fonte do rocprof-trace-decoder? Este repositório é apenas um binário Linux: Estamos usando-o para adicionar funcionalidade semelhante ao RGP ao VIZ: OSS tornará isso portátil para Mac e (esperançosamente) terá um cabeçalho com a API.

A sua biblioteca de transformadores está a fundir o FFN em um único kernel "flash"? Acho que há ganhos massivos possíveis, curioso sobre qual é a prática comum e o estado da arte da pesquisa?

Isto está a enterrar um pouco o ponto principal, que é que com uma pequena alteração também pode fazer ReLU(A @ B) @ C em matrizes NxN com N intermediários e sem recomputação. (ou seja: uma rede neural.)