核心六可以表达所有的运动。

语法仍然有点笨拙，但很快 LLM 层、梯度累积和训练循环将不再使用 Python 的 for 循环来编写。 借用 Halide 的话："将规范与编译和调度细节分开"，只不过我们将规范整个 1 亿美元的训练过程。

@__tinygrad__ 的 tinybox 系列正在变得非常靠谱。本周已经制作了五个。

要打倒NVIDIA吗？🤨 我们❤️NVIDIA！ 搭载4个5090的tinybox green v2现已发货

现在通过循环融合且没有重新计算。如果你能构建一个"编译器"，让闪存注意力自然而然地出现，想象一下它还可以融合什么其他内容。

当tinygrad的规范完成时，我希望它感觉像是来自《圣经》。这不是工程学，这是对自然的逆向工程。

所有未完成的订单将在本周末发货。我们正在制作一整批绿色盒子（相关图片），今天下单，你很快就能收到你的盒子！(我们还有一个红色盒子，应该买下它，它已经等了一段时间，想要去一个好地方)

.@AMD @AnushElangovan 你能开源 rocprof-trace-decoder 吗？ 这个仓库只是一个 Linux 二进制文件： 我们正在使用它为 VIZ 添加类似 RGP 的功能： 开源将使其可移植到 Mac，并且（希望）有一个带 API 的头文件。

你的变压器库是否将FFN融合成一个"闪电"内核？我认为这可能会带来巨大的收益，想知道目前的常见做法和研究的SOTA是什么？

这有点埋了重点，实际上是通过一个小改动，你也可以在具有 N 个中间体的 NxN 矩阵上执行 ReLU(A @ B) @ C，而无需重新计算。 （也就是：一个神经网络。）