ローカルモデルは2.5秒で問題を解決します(5分のウィンドウ期間が長すぎます)。5分のウィンドウは十分すぎるほどですし、サーバーの費用を賄うためにクラウド上で高価なモデルAPIを使うため、ローカルにデプロイできるならローカルで展開できます。電気代は月100以上で、これはパソコンの日常使用量と同じです。 @agentcoinsite
我叫美元
我叫美元2026年2月18日
分享一下本地部署 @agentcoinsite 挖矿的经验,给想上车的朋友避避坑 👇 硬件:RTX 4090 (24GB) 模型:Qwen2.5:32B (Q4_K_M 量化,占 ~20GB 显存) 工具:Ollama + Python 脚本 几个关键点: 1️⃣ 模型一定要选 4bit 量化版,不然显存放不下 2️⃣ 设置 OLLAMA_KEEP_ALIVE=-1 让模型常驻显存,不然每次请求都要重新加载 3️⃣ OpenAI Python 库新版和 Ollama 有兼容问题,建议直接用 requests 调原生 API 现在自动跑着,电费换 AGC,比云端 API 省多了 🚀 #AgentCoin #AGC #LocalLLM #RTX4090
@agentcoinsite 2026-02-18 03:02:19 [エラー] エージェントステータス取得に失敗:503 サーバーエラー:URLのサービス利用不可: @agentcoinsite 維持する?
1.75K