Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Mise à jour du développement de Moltghost
Nous avons examiné Kimi K2 comme option de modèle local. C'est un modèle MoE de 1T paramètres — même quantifié, il nécessite plus de 500 Go de disque et plus de 200 Go de VRAM. Nos pods GPU uniques atteignent un maximum de 45 Go, donc ce n'est pas faisable avec le matériel actuel.
Pour l'instant, nous exécutons des modèles qui tiennent sur des GPU uniques comme Phi4-Mini et Qwen3 8B, avec des modèles de raisonnement comme DeepSeek-R1 à venir. Le support de cluster multi-GPU est sur la feuille de route.
Du côté du déploiement, le temps de démarrage est passé de 75s à 19s. Nous avons intégré les poids d'OpenClaw et de LLM dans l'image Docker, supprimé la boucle de git pull et de reconstruction, et parallélisé le démarrage.
Testé sur 3 types de GPU :
L4 → 18s de démarrage, ~2:47 au total
A5000 → 19s de démarrage, ~6:18 au total
A40 → 18s de démarrage, ~5:08 au total
Cliquez pour un agent en direct en moins de 3 minutes sur L4.
Le principal goulot d'étranglement reste l'initialisation du conteneur — RunPod tirant et extrayant notre image Docker de 1,3 Go sur le nœud GPU avant même que notre code ne s'exécute. Cela prend de 2 à 5 minutes selon le nœud sur lequel vous tombez et si l'image est déjà mise en cache.
La prochaine étape consiste à enregistrer des modèles RunPod pour pré-cacher les images sur les nœuds, visant à réduire le déploiement total à moins d'une minute.
Tout cela fonctionne encore sur le développement local. La sélection multi-modèles n'est pas encore en production — nous devons encore reconstruire l'image Qwen3 8B pour correspondre au système mis à jour avant de la rendre publique.
Meilleurs
Classement
Favoris
