核心六可以表達所有的運動。

語法仍然有點笨拙，但很快 LLM 層、梯度累積和訓練循環將不再使用 Python 的 for 循環來編寫。 借用 Halide 的話："將規範與編譯和調度細節分開"，只不過我們將規範整個 1 億美元的訓練過程。

@__tinygrad__ 的 tinybox 系列正在變得非常可靠。本週已經製作了五個。

要打倒NVIDIA嗎？🤨 我們❤️NVIDIA！ 搭載4個5090的tinybox green v2現已發貨

現在透過循環融合且沒有重新計算。如果你能構建一個"編譯器"，讓閃存注意力自然而然地出現，想像一下它還可以融合什麼其他內容。

當tinygrad的規範完成時，我希望它感覺像是來自《聖經》。這不是工程學，這是對自然的逆向工程。

所有未完成的訂單將在本週末發貨。我們正在製作一整批綠色盒子（相關圖片），今天下單，你很快就能收到你的盒子！(我們還有一個紅色盒子，應該買下它，它已經等了一段時間，想要去一個好地方)

.@AMD @AnushElangovan 你能開源 rocprof-trace-decoder 嗎？ 這個倉庫只是一個 Linux 二進制檔案： 我們正在使用它為 VIZ 添加類似 RGP 的功能： 開源將使其可移植到 Mac 並（希望）有一個帶 API 的標頭。

你的變壓器庫是否將FFN融合成一個"閃電"內核？我認為這有可能帶來巨大的收益，想知道目前的常見做法和研究的SOTA是什麼？

這有點埋藏了重點，重點是透過一個小改變，你也可以在 NxN 矩陣上進行 ReLU(A @ B) @ C，並且有 N 個中介而不需要重新計算。 （也就是：一個神經網絡。）