De kern 6 kan alle beweging uitdrukken.

De syntaxis is nog steeds een beetje onhandig, maar binnenkort zullen LLM-lagen, gradientaccumulatie en trainingslussen niet meer met Python-for-lussen worden geschreven. Parafraserend Halide: "scheid de specificatie van de compilatie- en planningsdetails" behalve dat we hele $100M trainingsruns zullen specificeren.

De @__tinygrad__ tinybox lijn wordt echt legit. Vijf gebouwd tot nu toe deze week.

NVIDIA neerhalen? 🤨 wij ❤️ NVIDIA! tinybox green v2 met 4x5090 wordt nu verzonden

Nu met loopfusie en zonder herberekening. Als je een "compiler" kunt bouwen waaruit flash attention gewoon voortkomt, stel je dan voor wat er nog meer gefuseerd kan worden.

Wanneer de specificaties van tinygrad klaar zijn, wil ik dat het aanvoelt alsof het uit HET BOEK komt. Dit is geen engineering, dit is reverse engineering van de Natuur.

Alle openstaande bestellingen worden voor het einde van de week verzonden. We bouwen een hele batch groene dozen (zie afbeelding), bestel vandaag en je hebt de jouwe snel! (we hebben ook nog maar één rode doos over. Je zou het moeten kopen, het wacht al een tijdje om naar een goed thuis te gaan)

.@AMD @AnushElangovan Kun je rocprof-trace-decoder open source maken? Deze repo is gewoon een Linux-binary: We gebruiken het om RGP-achtige functionaliteit aan VIZ toe te voegen: OSS zal het draagbaar maken voor Mac en (hopelijk) een header met de API hebben.

Fuseren jouw transformer bibliotheek de FFN in één "flash" kernel? Ik denk dat er enorme winst mogelijk is, benieuwd wat de gangbare praktijk en het onderzoek SOTA is?

Dit is een beetje de kern van de zaak verbergen, namelijk dat je met een kleine wijziging ook ReLU(A @ B) @ C kunt doen op NxN-matrices met N tussenstappen en zonder herberekening. (ook wel: een neuraal netwerk.)