🚨 Paikallisen tekoälyn #1-ongelma on nyt ratkaistu. On olemassa uusi työkalu nimeltä llmfit, joka tarkistaa laitteistosi ja kertoo, mitkä mallit toimivat hyvissä ajoin ennen kuin lataat mitään. Joten sen sijaan, että arvailisit ja osuisit muistiin menneisiin virheisiin... Se antaa sinulle järjestetyn listan koneesi mukaan. Mitä se tekee (yhdessä komennossa): → skannaa kokoonpanosi (RAM / CPU / GPU / VRAM) → arvioi malleja laadun, nopeuden, istuvuuden ja kontekstin perusteella → valitsee automaattisesti parhaan kvantisoinnin → määrittelee, mikä on ihanteellista, okei vs. rajalla Se osa, josta pidän eniten: se käsittelee MoE-malleja oikein. Esimerkki: Mixtral 8x7B:llä on ~46,7B kokonaisparaamia, mutta vain ~12,9B on aktiivisia per token, ja llmfit ottaa tämän huomioon (monet työkalut eivät vieläkään tee niin). 100 % avoimen lähdekoodin.