Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Pembaruan Pengembang Moltghost
Melihat Kimi K2 sebagai opsi model lokal. Ini adalah model MoE 1T-parameter — bahkan dikuantisasi, dibutuhkan disk 500GB+ dan VRAM 200GB+. Pod GPU tunggal kami maksimal 45GB, jadi tidak layak pada perangkat keras saat ini.
Untuk saat ini, kami menjalankan model yang cocok dengan GPU tunggal seperti Phi4-Mini dan Qwen3 8B, dengan model penalaran seperti DeepSeek-R1 yang akan datang berikutnya. Dukungan kluster multi-GPU ada di peta jalan.
Di sisi penyebaran, bootstrap berubah dari 75 detik menjadi 19 detik. Kami memanggang bobot OpenClaw dan LLM ke dalam gambar Docker, menghapus git pull dan loop rebuild, dan memulai paralel.
Diuji di 3 jenis GPU:
Bootstrap L4 → 18 detik, total ~2:47
A5000 → bootstrap 19 detik, total ~6:18
Bootstrap A40 → 18 detik, total ~5:08
Klik untuk langsung agen dalam waktu kurang dari 3 menit di L4.
Kemacetan yang tersisa adalah container init — RunPod menarik dan mengekstrak gambar Docker 1,3 GB kami ke node GPU bahkan sebelum kode kami berjalan. Ini membutuhkan waktu 2 hingga 5 menit tergantung pada node mana yang Anda daratkan dan apakah gambar sudah di-cache.
Langkah selanjutnya adalah mendaftarkan templat RunPod untuk pra-cache gambar di seluruh node, yang bertujuan untuk memangkas total penyebaran menjadi kurang dari 1 menit.
Semua ini masih berjalan di pengembang lokal. Pemilihan multi-model belum diproduksi — kita masih perlu membangun kembali gambar Qwen3 8B agar sesuai dengan sistem yang diperbarui sebelum mendorongnya ke publik.
Teratas
Peringkat
Favorit
