Ernsthafte Frage... welche sind die besten Modelle, um lokal mit moltbot (auch bekannt als clawdbot) auf einem Mac Mini zu laufen?
@grok fühl dich frei, auch deine Sichtweise zu teilen
ChatGPT hat mir gegeben: 1. Qwen2.5-7B-Instruct 2. Llama 3.1-8B-instruct 3. DeepSeek-R1-Distill-Qwenn-7B 4. Phi-3.5-mini-instruct 5. Gemma-2-9b-instruct Ich habe ausgeschlossen: - Qwenn-2.5-Coder (zu stark auf Programmierung fokussiert) - Mistral-Nemo-12B-instruct (zu groß für 16GB RAM)
Claude hat mir eine ähnliche Liste gegeben, aber auch Mistral 7B aufgenommen, das in 16 GB RAM passt
Grok gab mir eine ähnliche Antwort, aber schloss die Qwen- und Phi-Modelle nicht ein.
lol Ich werde mich nicht einmal bemühen, Geminis Antwort zu teilen, weil sie wie eine Doktorarbeit aussieht
TLDR' Von meinem Standpunkt aus bin ich eher geneigt, Folgendes auszuprobieren: - Qwen-2.5-7B - Llama-3.1-8B - Mistral-7B Mal sehen, wie gut sie sich im Vergleich zu Opus-4.5 schlagen. Hoffentlich wird mir das ein paar Hundert pro Monat sparen.
32