Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Moltghost utvecklingsuppdatering
Kollade upp Kimi K2 som ett lokalt modellalternativ. Det är en 1T-parameter MoE-modell — även kvantiserad kräver den 500GB+ disk och 200GB+ VRAM. Våra enskilda GPU-pods maxar 45GB, så det är inte genomförbart på nuvarande hårdvara.
För tillfället kör vi modeller som passar på enskilda GPU:er som Phi4-Mini och Qwen3 8B, med motiveringsmodeller som DeepSeek-R1 som nästa steg. Stöd för multi-GPU-kluster finns på planen.
På utplaceringssidan gick bootstrap från 75 till 19. Vi bakade in OpenClaw- och LLM-vikter i Docker-bilden, tog bort git-pull- och rebuild-loopen och parallelliserade uppstart.
Testat över 3 GPU-typer:
L4 → 18s bootstrap, totalt ~2:47
A5000 → 19s bootstrap, totalt ~6:18
A40 → 18s bootstrap, totalt ~5:08
Klicka för att leva agent på under 3 minuter på L4.
Den kvarvarande flaskhalsen är container init — RunPod drar och extraherar vår 1,3 GB Docker-image till GPU-noden innan vår kod ens körs. Det tar 2 till 5 minuter beroende på vilken nod du landar på och om bilden redan är cachelagrad.
Nästa steg är att registrera RunPod-mallar för att förcachelagra bilder över noder, med målet att minska den totala utplaceringen till under 1 minut.
Allt detta körs fortfarande på lokal utveckling. Multimodellval är ännu inte i produktion — vi måste fortfarande bygga om Qwen3 8B-bilden för att matcha det uppdaterade systemet innan vi kan göra den offentlig.
Topp
Rankning
Favoriter
