あなたはクラウドGPUかオンプレミスGPUかで迷っているAIスタートアップです。 必要なコストと投資収益率の内訳は以下の通りです。🧵

数字について話しましょう。📉 64コアのオンプレミスGPUクラスターは、前払い約$38k+電力代$4.2kです。クラウド相当のものは月約2.8kドルです。 損益分岐点は24時間365日使う場合に限り14ヶ月です。 もしワークロードが20%しか稼働しない場合、Cloud Spotインスタンスが資本支出の勝者です。

オーケストレーションこそが柔軟性の鍵です。 フィンテック企業を例にとると、Slurm-on-Kubernetesのようなツールを使って機密モデルをローカルに保ち、その後10k+クラウドコアにバーストして夜間テストを行います。 仕事が月1,200コア時間を超えたら購入しましょう。 家賃が短い場合は家賃を選びましょう。

GPUの使用率を記録してください。当てないで。 もし60%>アイドルしているなら、ハードウェアに過剰な価格を払っていることになります。雲爆発に切り替えろ。 デューティサイクル>70%が安定しているのですか? 裸の金属を買うかリースする。