Ядро 6 може виражати всі рухи.

Синтаксис все ще трохи незграбний, але незабаром шари LLM, накопичення градієнтів і цикли навчання не будуть записані за допомогою циклів Python for. Перефразовуючи Halide: «відокремте специфікацію від деталей компіляції та розкладу», за винятком того, що ми вкажемо цілі тренувальні забіги на 100 мільйонів доларів.

Лінія @__tinygrad__ tinybox стає законною. Цього тижня було побудовано п'ять.

знищити NVIDIA? 🤨 ми ❤️ NVIDIA! TinyBox Green V2 з 4x5090 вже у продажу

Тепер зі злиттям циклів і без переобчислень. Якщо ви можете створити «компілятор», з якого просто випадає миттєва увага, уявіть, що ще він міг би об'єднати.

Коли специфікація tinygrad буде готова, я хочу, щоб вона відчувалася так, ніби вона прийшла з КНИГИ. Це не інженерія, це зворотна інженерія Природи.

Всі невиконані замовлення будуть відправлені до кінця тижня. Ми збираємо цілу партію зелених коробок (пов'язаних з фото), замовте сьогодні, і ви скоро отримаєте свою! (У нас також залишилася лише одна червона коробочка. Ви повинні його купити, він вже деякий час чекає, щоб потрапити в хороший будинок)

.@AMD @AnushElangovan Чи можете ви відкрити вихідний код rocprof-trace-decoder? Цей репозиторій є просто двійковим файлом Linux: Ми використовуємо його для додавання функціоналу, схожого на RGP, до VIZ: OSS зробить його переносимим на Mac і (сподіваюся) матиме заголовок з API.

Ваша бібліотека-трансформатор об'єднує FFN в одне "флеш" ядро? Я думаю, що можливі величезні вигоди, цікаво, що таке загальна практика та дослідження SOTA?

Це трохи закопує леде, який полягає в тому, що з незначною зміною ви також можете зробити ReLU(A @ B) @ C на NxN матрицях з N проміжними значеннями і без переобчислення. (Він же: нейронна мережа.)