Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Actualizare dezvoltare Moltghost
M-am uitat la Kimi K2 ca model local. Este un model MoE cu 1T parametri — chiar și cuantizat, are nevoie de 500GB+ disc și 200GB+ VRAM. Podurile noastre cu o singură placă video ajung la maximum 45GB, deci nu este fezabil pe hardware-ul actual.
Deocamdată, rulăm modele care se potrivesc pe GPU-uri simple precum Phi4-Mini și Qwen3 8B, urmând modele de raționament precum DeepSeek-R1. Suportul pentru clustere multi-GPU este pe plan.
Pe partea de desfășurare, bootstrap-ul a scăzut de la 75s la 19s. Am integrat greutățile OpenClaw și LLM în imaginea Docker, am eliminat bucla git pull și rebuild și am paralelizat pornirea.
Testat pe 3 tipuri de plăci video:
L4 → 18s bootstrap, ~2:47 total
A5000 → 19s bootstrap, ~6:18 total
A40 → 18s bootstrap, ~5:08 total
Click pentru a face agent live în mai puțin de 3 minute pe L4.
Blocajul rămas este containerul init — RunPod extrage și extrage imaginea noastră Docker de 1,3GB pe nodul GPU înainte ca codul nostru să ruleze. Acest lucru durează între 2 și 5 minute, în funcție de nodul pe care ajungi și dacă imaginea este deja stocată în cache.
Următorul pas este înregistrarea șabloanelor RunPod pentru pre-cache imagini între noduri, cu scopul de a reduce totalul implementării la mai puțin de 1 minut.
Toate acestea rulează încă pe dezvoltarea locală. Selecția multi-model nu este încă în producție — încă trebuie să reconstruim imaginea Qwen3 8B pentru a se potrivi cu sistemul actualizat înainte de a o face publică.
Limită superioară
Clasament
Favorite
