🚨速報:テスラは新しいファイル形式を「。SMOLでFSDトレーニングを4倍加速させる テスラのエンジニアたちは、GPUがボトルネックではないことに気づきました。 保管システムがそうだった。 MP4やCSVのような古いフォーマットでは、数フレームのデータを見つけるために膨大なファイルをスキャンし、復号し、検索することを強いられました。時間の無駄だった。高価なGPUはデータの読み込みを待つために放置されていました。 そこでテスラはゼロからカスタムフォーマットを作り上げました。 その考え方はシンプルですが強力なものです: ファイルの一番先頭にマスターインデックスを設置し、システムにすべてのデータがどこにあるか正確に伝えます。 スキャンもできません。解読もなし。探さない。 システムは必要な正確なバイトに直接ジャンプし、GPUに即座にデータを与えます。 結果: • I/O操作数が400%減少 • ペタバイトスケールで約11%のファイルサイズが小さい ・GPUは待たずに完全に稼働し続ける ・FSDモデルは新しいハードウェアなしではるかに高速に訓練を行います また、Teslaはデータをすぐに使えるテンソル形式で保存するため、CPUがGPUがフォーマットを変換するのに時間を無駄にしません。 さらに興味深いです。 特許には、このフォーマットが車だけのものではないと書かれています。...