Основные 6 могут выразить все движения.

Синтаксис все еще немного громоздкий, но вскоре слои LLM, накопление градиентов и циклы обучения не будут записываться с помощью циклов for на Python. Перефразируя Халид: "отделите спецификацию от деталей компиляции и планирования", за исключением того, что мы будем специфицировать целые $100M обучающие запуски.

Линия @__tinygrad__ tinybox становится настоящей. На этой неделе уже построено пять.

снести NVIDIA? 🤨 мы ❤️ NVIDIA! tinybox green v2 с 4x5090 уже в пути

Теперь с объединением циклов и без повторных вычислений. Если вы можете создать "компилятор", из которого просто выпадает быстрая внимательность, представьте, что еще он может объединить.

Когда спецификация tinygrad будет завершена, я хочу, чтобы она ощущалась как будто пришла из КНИГИ. Это не инженерия, это обратная инженерия Природы.

Все незавершенные заказы будут отправлены до конца недели. Мы собираем целую партию зеленых коробок (см. фото), заказывайте сегодня, и ваша коробка скоро будет у вас! (у нас также осталась всего одна красная коробка. Вам стоит ее купить, она ждала своего хорошего дома уже некоторое время)

.@AMD @AnushElangovan Можете ли вы сделать rocprof-trace-decoder открытым исходным кодом? Этот репозиторий — это просто бинарный файл для Linux: Мы используем его для добавления функциональности, подобной RGP, в VIZ: Открытый исходный код сделает его портативным для Mac и (надеюсь) добавит заголовок с API.

Вашa библиотека трансформеров объединяет FFN в один "flash" ядро? Я думаю, что возможны огромные выгоды, интересно, какова общепринятая практика и достижения в исследованиях?

Это немного скрывает суть, а именно то, что с небольшим изменением вы также можете выполнить ReLU(A @ B) @ C на матрицах NxN с N промежуточными значениями и без повторных вычислений. (иначе говоря: нейронная сеть.)