Core 6 kan uttrycka all rörelse.

Syntaxen är fortfarande lite klumpig, men snart kommer LLM-lager, gradientackumulering och träningsloopar inte att skrivas med Python för loopar. För att parafrasera Halide: "separera specifikationen från kompilerings- och schemaläggningsdetaljerna" förutom att vi kommer att specificera hela 100 miljoner dollar träningskörningar.

Den @__tinygrad__ tinybox-linjen blir legitim. Fem byggda hittills i veckan.

ta ner NVIDIA? 🤨 vi ❤️ NVIDIA! TinyBox Green V2 med 4x5090 levereras nu

Nu med loopfusion och ingen omberäkning. Om du kan bygga en "kompilator" som uppmärksamheten bara faller ur, föreställ dig vad mer den skulle kunna smälta samman.

När tinygrads spec är klar vill jag att det ska kännas som om det kom från BOKEN. Det här är inte ingenjörskonst, det är omvänd konstruktion av naturen.

Alla utestående beställningar kommer att skickas i slutet av veckan. Vi håller på att bygga en hel batch med gröna lådor (bildrelaterade), beställ idag och du kommer snart att ha din! (Vi har också bara en röd låda kvar. du borde köpa den, den har väntat ett tag på att få komma till ett bra hem)

.@AMD @AnushElangovan Kan du öppen källkod rocprof-trace-decoder? Den här lagringsplatsen är bara en binär Linux-fil: Vi använder den för att lägga till RGP-liknande funktionalitet i VIZ: OSS kommer att göra det portabelt till Mac och (förhoppningsvis) ha en header med API:et.

Håller ditt transformatorbibliotek på att smälta samman FFN till en "flash"-kärna? Jag tror att det finns enorma vinster möjliga, nyfiken på vad den vanliga praxisen och forskningen SOTA är?

Detta är att begrava den lede lite, vilket är att med en mindre ändring kan du också göra ReLU(A @ B) @ C på NxN-matriser med N intermediärer och ingen omräkning. (även kallat ett neuralt nätverk.)