Allvarlig fråga... Vilka är de bästa modellerna för att köra lokalt med Moltbot (även kallad ClawdBot) i en bas-Mac Mini?
@grok dela gärna med dig av ditt perspektiv också
ChatGPT gav mig: 1. Qwen2.5-7B-Instruktör 2. Llama 3.1-8B-instruktör 3. DeepSeek-R1-Distill-Qwenn-7B 4. Phi-3.5-mini-instruktion 5. Gemma-2-9b-instruktör Jag har uteslutit: - Qwenn-2.5-Coder (även fokus på kodning) - Mistral-Nemo-12B-instruktion (för stor för 16GB RAM)
Claude gav mig en liknande lista men inkluderade också Mistral 7B som kan rymmas i 16GB RAM
Grok gav mig ett liknande svar men inkluderade inte Qwen- och Phi-modellerna
lol jag tänker inte ens bry mig om att dela Tvillingarnas svar eftersom det ser ut som en doktorsuppsats
TLDR Ur mitt perspektiv är jag mer benägen att försöka: - Qwen-2.5-7B - Llama-3.1-8B - Mistral-7B Låt oss se hur bra de står sig mot Opus-4.5 Förhoppningsvis sparar detta mig några hundra i månaden
45