トレンドトピック
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
モルトゴースト開発アップデート
地元のモデルとしてKimi K2を検討しました。これは1TパラメータのMoEモデルで、量子化しても500GB+ディスクと200GB+のVRAMが必要です。私たちの単一のGPUポッドは最大45GBなので、現行のハードウェアでは現実的ではありません。
現時点では、Phi4-MiniやQwen3 8Bのような単一GPUに搭載可能なモデルを運用しており、DeepSeek-R1のような理由モデルも次々と登場予定です。マルチGPUクラスターのサポートは計画中にあります。
デプロイ側では、ブートストラップが75秒から19秒に下がりました。OpenClawとLLMの重みをDockerイメージに組み込み、gitのプルと再構築ループを廃止し、起動を並列化しました。
3種類のGPUでテストしました:
L4 → 18s ブートストラップ、合計で~2:47
A5000 →19秒のブートストラップ、合計~6:18
A40 → 18s ブートストラップ、合計5:08
L4で3分以内にライブエージェントに繋がれます。
残ったボトルネックはコンテナinitです。これはRunPodがコードが実行される前に1.3GBのDockerイメージをGPUノードに引き出して抽出することです。どのノードに着いたか、画像がすでにキャッシュされているかによって、この作業は2分から5分かかります。
次のステップは、RunPodテンプレートを登録してノード間で画像をプリキャッシュし、総展開時間を1分未満に短縮することを目指します。
これらはすべてローカル開発で稼働しています。マルチモデル選択はまだ本番環境ではなく、Qwen3 8Bのイメージを更新されたシステムに合わせて再構築し、公開前に公開する必要があります。
トップ
ランキング
お気に入り
