Aktualizace vývoje Moltghost Podíval jsem se na Kimi K2 jako na místní model. Je to model MoE s 1T-parametrem — i kvantizovaný vyžaduje 500GB+ disk a 200GB+ VRAM. Naše jediné GPU pody mají maximálně 45GB, takže to na současném hardwaru není možné. Prozatím používáme modely, které se vejdou na jednotlivé GPU jako Phi4-Mini a Qwen3 8B, přičemž jako DeepSeek-R1 přijdou na řadu modely s rozumem. Podpora multi-GPU clusterů je na plánu. Na straně nasazení se bootstrap snížil z 75 na 19 sekund. Do obrazu Dockeru jsme zabudovali váhy OpenClaw a LLM, odstranili smyčku pro vytahování a obnovu gitu a paralelně jsme spouštěli. Testováno na 3 typech GPU: L4 → 18s bootstrap, ~2:47 celkem A5000 → 19s bootstrap, ~6:18 celkem A40 → 18s bootstrap, ~5:08 celkem Klikněte na živého agenta za méně než 3 minuty na L4. Zbývající úzké hrdlo je container init — RunPod stahuje a extrahuje náš 1,3GB Docker obraz na GPU uzel ještě před tím, než náš kód vůbec běží. To trvá 2 až 5 minut v závislosti na tom, na který uzel přistanete a zda už má obraz uložený v cache. Dalším krokem je registrace šablon RunPod pro předcache obrazů napříč uzly, s cílem zkrátit celkové nasazení pod 1 minutu. To všechno stále běží na lokálním vývoji. Výběr více modelů zatím není ve výrobě — stále musíme přestavět obraz Qwen3 8B tak, aby odpovídal aktualizovanému systému, než ho zveřejníme.