De neste videoene vil handle om finjustering av SLM-er. ❤️ 🔥 - Opprinnelig ønsket jeg en 60 minutters video som dekket modellutvikling etter pretraining (CPT, Midtraining, SFT, RLHF, RLVR) - Men det ville tatt meg måneder, så i stedet lager jeg en miniserie på ~20 minutters videoer. - Unsloth gjennom hele tiden med litt HF og Pytorch der det trengs. RL-delen vil bruke Prime Labs. - Kode til side, det viktigste hovedfokuset vil være datasett. identifisere OS-datasett, forberede dem, generere syntetiske datasett for trening, osv - Et annet hovedfag vil handle om evaluering. Sette opp seler for måleparametere. - Temaer for senere videoer er ikke helt planlagt ennå, skjermbildet er grunnleggende veikart. Jeg tar det som det kommer, alt etter hvilke spørsmål jeg får fra dere! - Jeg kommer definitivt til å jobbe med andre videoer innimellom. Hvis tankene mine vandrer, lar jeg det være. Men jeg håper jeg blir ferdig i løpet av de neste tre månedene eller så. Alt avhenger av hvor mye jeg liker, hva annet som skjer i verden, og hva publikum mitt ønsker å engasjere seg i. Når det er sagt, vil min neste video handle 100 % om fortsatt forhåndstrening på tilpassede datasett.