テンプラーは70+の参加者を持つコモディティインターネット上で720億パラメータのモデルを訓練しました。 これは史上最大規模の完全オープン分散型事前訓練プロジェクトです。彼らのスパース機関車最適化装置はデータを146倍圧縮し、世帯接続も貢献できるようにしました。 @tplr_aiにとって本当の突破口は、ガントレット検証システムのおかげで、信頼できない見知らぬ人に不正なくモデルを訓練させることです。しかし、参加するには8台のB200 GPU(約25万ドル)が必要でした。これは資本の充実したオペレーターのための概念実証でした...今のところは 分散型トレーニングはいつかフロンティアモデルに近いものになるかもしれませんが、ハードウェアの壁が大幅に下がればの話です。