コア6はすべての動きを表現できます。

構文はまだ少し不格好ですが、間もなく LLM レイヤー、勾配累積、トレーニング ループは Python for ループで記述されなくなります。 ハライドの言い換え: 「仕様をコンパイルとスケジューリングの詳細から分離する」ことを除いて、$100M のトレーニング実行全体を指定します。

@__tinygrad__のタイニーボックスラインが合法になりつつあります。今週これまでに5機が建造されました。

エヌビディアを倒す?🤨 私たち❤️エヌビディア! Tinybox Green V2 with 4x5090 が出荷中です

ループ融合が行われ、再計算が不要になりました。フラッシュアテンションが抜ける「コンパイラ」を構築できるとしたら、他に何を融合できるか想像してみてください。

tinygradの仕様が完成したら、THE BOOKから来たような感覚にしたいです。これはエンジニアリングではなく、自然のリバースエンジニアリングです。

すべての未処理の注文は週末までに発送されます。グリーンボックス(写真関連)を大量に作成していますので、今すぐ注文するとすぐに手に入ります!(赤い箱も1つしか残っていません。買ったほうがいいです、良い家に行くのをしばらく待っていました)

.@AMD @AnushElangovan rocprof-trace-decoderをオープンソース化できますか? このリポジトリは単なるLinuxバイナリです。 これを使用して、RGP のような機能を VIZ に追加しています。 OSSはMacに移植できるようにし、(うまくいけば)APIを含むヘッダーを持ちます。

トランスフォーマーライブラリはFFNを1つの「フラッシュ」カーネルに融合していますか?大きな利益が得られる可能性があると思いますが、一般的な慣行や研究 SOTA とは何なのか興味がありますか?

これは、わずかな変更で、N個の中間体と再計算なしでNxN行列でReLU(A @ B) @ Cを実行することもできます。 (別名:ニューラルネットワーク。