Sześć podstawowych może wyrażać wszelkie ruchy.

Składnia wciąż jest trochę nieporęczna, ale wkrótce warstwy LLM, akumulacja gradientów i pętle treningowe nie będą pisane z użyciem pętli for w Pythonie. Parafrazując Halide: "oddziel specyfikację od szczegółów kompilacji i harmonogramowania", z tym że będziemy specyfikować całe $100M sesje treningowe.

Linia @__tinygrad__ tinybox staje się legitna. Do tej pory w tym tygodniu zbudowano pięć.

zniszczyć NVIDIA? 🤨 kochamy NVIDIA! tinybox green v2 z 4x5090 jest już w drodze

Teraz z fuzją pętli i bez ponownego obliczania. Jeśli możesz zbudować "kompilator", z którego po prostu wypada błyskawiczna uwaga, wyobraź sobie, co jeszcze można by połączyć.

Kiedy specyfikacja tinygrad będzie gotowa, chcę, aby wydawała się, jakby pochodziła z KSIĘGI. To nie jest inżynieria, to inżynieria odwrotna Natury.

Wszystkie zaległe zamówienia zostaną wysłane do końca tygodnia. Budujemy całą partię zielonych pudełek (zdjęcie w załączeniu), zamów dzisiaj, a wkrótce będziesz miał swoje! (mamy też tylko jedno czerwone pudełko. powinieneś je kupić, czekało już trochę na dobry dom)

.@AMD @AnushElangovan Czy możesz udostępnić kod źródłowy rocprof-trace-decoder? To repozytorium to tylko binarka Linux: Używamy go, aby dodać funkcjonalność podobną do RGP do VIZ: OSS uczyni go przenośnym na Maca i (mamy nadzieję) będzie miał nagłówek z API.

Czy twoja biblioteka transformatorów łączy FFN w jeden "flash" kernel? Myślę, że możliwe są ogromne zyski, ciekawi mnie, jakie są powszechne praktyki i stan badań SOTA?

Trochę to ukrywa sedno sprawy, a mianowicie, że przy drobnej zmianie możesz również wykonać ReLU(A @ B) @ C na macierzach NxN z N pośrednikami i bez ponownego obliczania. (znane również jako: sieć neuronowa.)