Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Moltghost utviklingsoppdatering
Har sett på Kimi K2 som et lokalt modellalternativ. Det er en 1T-parameter MoE-modell — selv kvantisert krever den 500GB+ disk og 200GB+ VRAM. Våre single GPU-pods er maks 45GB, så det er ikke mulig på dagens maskinvare.
Foreløpig kjører vi modeller som passer på enkeltskjermkort som Phi4-Mini og Qwen3 8B, med modeller som DeepSeek-R1 som kommer neste. Støtte for multi-GPU-klynger er på veikartet.
På deployeringssiden gikk bootstrap fra 75 til 19 sekunder. Vi bakte OpenClaw- og LLM-vekter inn i Docker-bildet, fjernet git-pull- og rebuild-løkken, og paralleliserte oppstart.
Testet på 3 GPU-typer:
L4 → 18s bootstrap, ~2:47 totalt
A5000 → 19s bootstrap, totalt ~6:18
A40 → 18s bootstrap, totalt ~5:08
Klikk for å få live agent på under 3 minutter på L4.
Den gjenværende flaskehalsen er container init — RunPod henter og henter ut vårt 1,3 GB Docker-bilde på GPU-noden før koden vår i det hele tatt kjører. Dette tar 2 til 5 minutter avhengig av hvilken node du lander på og om bildet allerede er cachet.
Neste steg er å registrere RunPod-maler for å forhåndscache bilder på tvers av noder, med mål om å redusere total distribusjon til under 1 minutt.
Alt dette kjører fortsatt på lokal utvikling. Multi-modellutvalget er ikke i produksjon ennå — vi må fortsatt bygge opp Qwen3 8B-bildet for å matche det oppdaterte systemet før vi lanserer det offentlig.
Topp
Rangering
Favoritter
