Core 6 kan uttrykke all bevegelse.

Syntaksen er fortsatt litt klønete, men snart vil ikke LLM-lag, gradientakkumulering og treningsløkker bli skrevet med Python for løkker. Parafrasering av Halide: "skille spesifikasjonen fra kompilerings- og planleggingsdetaljene" bortsett fra at vi vil spesifisere hele $100M treningsløp.

Den @__tinygrad__ lille bokslinjen begynner å bli legitim. Fem bygget så langt denne uken.

ta ned NVIDIA? 🤨 vi ❤️ NVIDIA! Tinybox Green V2 med 4x5090 sendes nå

Nå med sløyfefusjon og ingen omberegning. Hvis du kan bygge en "kompilator" som flash-oppmerksomheten bare faller ut av, forestill deg hva annet den kan smelte sammen.

Når tinygrads spesifikasjon er ferdig, vil jeg at det skal føles som om det kom fra BOKEN. Dette er ikke ingeniørkunst, dette er omvendt utvikling av naturen.

Alle utestående bestillinger sendes innen slutten av uken. Vi bygger et helt parti med grønne bokser (bilderelatert), bestill i dag, så får du din snart! (vi har også bare en rød boks igjen. du bør kjøpe den, den har ventet en stund på å gå til et godt hjem)

.@AMD @AnushElangovan Kan du åpen kildekode rocprof-trace-decoder? Dette repoet er bare en Linux-binær: Vi bruker den til å legge til RGP-lignende funksjonalitet til VIZ: OSS vil gjøre den bærbar til Mac og (forhåpentligvis) ha en overskrift med API.

Smelter transformatorbiblioteket ditt FFN sammen til en "flash"-kjerne? Jeg tror det er enorme gevinster mulig, nysgjerrig på hva den vanlige praksisen og forskningen SOTA er?

Dette er å begrave ledet litt, som er at med en mindre endring kan du også gjøre ReLU(A @ B) @ C på NxN-matriser med N-mellomprodukter og ingen omberegning. (aka: et nevralt nettverk.)