Sáu yếu tố cốt lõi có thể biểu đạt mọi chuyển động.

Cú pháp vẫn còn hơi cồng kềnh, nhưng sớm thôi, các lớp LLM, tích lũy gradient và vòng lặp huấn luyện sẽ không được viết bằng các vòng lặp Python. Nói lại theo Halide: "tách biệt phần chỉ định khỏi các chi tiết biên dịch và lập lịch" ngoại trừ việc chúng ta sẽ chỉ định toàn bộ các phiên huấn luyện trị giá $100 triệu.

Dòng tinybox của @__tinygrad__ đang trở nên chính thức. Đã xây dựng năm cái cho đến nay trong tuần này.

hạ gục NVIDIA? 🤨 chúng tôi ❤️ NVIDIA! tinybox green v2 với 4x5090 đang được giao hàng ngay bây giờ

Bây giờ với việc hợp nhất vòng lặp và không tính toán lại. Nếu bạn có thể xây dựng một "trình biên dịch" mà từ đó sự chú ý flash chỉ đơn giản là xuất hiện, hãy tưởng tượng xem còn điều gì khác mà nó có thể hợp nhất.

Khi đặc điểm kỹ thuật của tinygrad hoàn thành, tôi muốn nó cảm giác như nó đến từ CUỐN SÁCH. Đây không phải là kỹ thuật, đây là kỹ thuật đảo ngược của Tự Nhiên.

Tất cả các đơn hàng còn lại sẽ được giao vào cuối tuần này. Chúng tôi đang sản xuất một lô hộp màu xanh (hình liên quan), đặt hàng hôm nay và bạn sẽ sớm nhận được của mình! (chúng tôi cũng chỉ còn một hộp màu đỏ. bạn nên mua nó, nó đã chờ đợi một thời gian để đến với một ngôi nhà tốt)

.@AMD @AnushElangovan Bạn có thể mở mã nguồn cho rocprof-trace-decoder không? Repo này chỉ là một tệp nhị phân Linux: Chúng tôi đang sử dụng nó để thêm chức năng giống như RGP vào VIZ: OSS sẽ làm cho nó có thể sử dụng trên Mac và (hy vọng) có một tiêu đề với API.

Thư viện transformer của bạn có hợp nhất FFN thành một kernel "flash" không? Tôi nghĩ có thể đạt được những lợi ích lớn, tò mò về thực tiễn phổ biến và nghiên cứu SOTA là gì?

Điều này có phần làm lạc đề một chút, đó là với một thay đổi nhỏ, bạn cũng có thể thực hiện ReLU(A @ B) @ C trên các ma trận NxN với N trung gian và không cần tính toán lại. (được gọi là: một mạng nơ-ron.)