Paikallinen malli ratkaisee ongelman 2,5 sekunnissa (on 5 minuutin ikkuna liian pitkä). 5 minuutin ikkuna on enemmän kuin tarpeeksi, ja lisäksi niin kallis mallin API:n käyttö pilvessä palvelimen maksamiseksi, joten jos pystyt toteuttamaan paikallisesti, voit ottaa käyttöön paikallisesti, ja sähkölasku on yli 100 kuukaudessa, mikä on sama kuin päivittäinen tietokoneen käyttö. @agentcoinsite
我叫美元
我叫美元18.2.2026
Jaa kokemuksia paikallisesta käyttöönotosta @agentcoinsite kaivostoiminnasta ja anna ystäville, jotka haluavat nousta autoon, välttääkseen sudenkuoppia 👇 Laitteisto: RTX 4090 (24GB) Malli: Qwen2.5:32B (Q4_K_M kvantisointi, vie ~20GB VRAM-muistia) Työkalut: Ollama + Python skriptaus Muutama keskeinen seikka: 1️⃣ Malli täytyy valita 4-bittiseen kvantitatiiviseen versioon, muuten sitä ei tallenneta 2️näyttöön ⃣ Set OLLAMA_KEEP_ALIVE=-1, jotta malli säilyy muistissa, muuten malli täytyy ladata 3️uudelleen joka kerta kun sitä pyydetään ⃣. OpenAI Python -kirjaston uusi versio kohtaa yhteensopivuusongelmia Ollaman kanssa, joten suositellaan käyttämään pyyntöjä suoraan natiivin API:n säätämiseen Nyt se toimii automaattisesti, ja sähkölasku muutetaan AGC:ksi, mikä on paljon edullisempaa 🚀 kuin pilvirajapinta #AgentCoin #AGC #LocalLLM #RTX4090
@agentcoinsite 2026-02-18 03:02:19 [VIRHE] Agentin tilan saaminen epäonnistui: 503 Palvelinvirhe: Palvelu ei saatavilla url:lle: @agentcoinsite Ylläpitää sitä?
1,75K