🧵Opplæring: Hvordan tilpasse en modell for tekst-til-emoji og distribuere på enheten for å kjøre direkte i nettleseren din, på få minutter, gratis⚡️ Trinn: 1. Finjuster modellen i Colab 2. Kvantiser modellen ned til 300 MB 3. Distribuer og del et program der modellen kan kjøre frakoblet

Tilpass/finjuster modellen 1. Bygg et datasett (i dette tilfellet tekst- og emoji-par) 2. Finjuster. Du kan finjustere Gemma 3 270M på få minutter, i gratis T4 Colab, med QLoRA 2.1. Slå sammen QLoRA-adapteren Notisbok:

Kvantiser og konverter modellen 1️⃣ Avhengig av slutningsbiblioteket ditt, vil du bruke forskjellige filtyper GGUF, ONNX, etc 2️⃣ Med kvantisering kan du krympe loddpresisjonen, for eksempel 16-bit ned til 4-bit Eksempel for MediaPipe