Seuraavat videot käsittelevät SLM:ien hienosäätöä. ❤️ 🔥 - Alun perin halusin 60 minuutin videon, joka kattaa mallinkehittäjän esikoulutuksen jälkeen (CPT, Midtraining, SFT, RLHF, RLVR) - Mutta siihen menisi kuukausia, joten teen sen sijaan minisarjan ~20 minuutin videoita. - Unsloth koko ajan käyttämällä tarvittaessa HF:ää ja pytorchia. RL-osa käyttää Prime Labsia. - Koodin lisäksi tärkein painopiste on aineistoissa. käyttöjärjestelmän tietoaineistojen tunnistaminen, niiden valmistelu, synteettisten aineistojen tuottaminen koulutusta varten jne - Toinen merkittävä pääaine liittyy arviointiin. Valjaiden asettaminen mittareita varten. - Myöhempien videoiden aiheet eivät ole vielä täysin suunniteltuja, kuvakaappaus on perustiekartta. Otan asian korvakuulolta sen mukaan, mitä kysymyksiä saan teiltä! - Työskentelen ehdottomasti muiden videoiden parissa välissä. Jos mieleni harhailee, annan sen tapahtua. Mutta toivon, että saan sen valmiiksi noin kolmen kuukauden sisällä. Kaikki riippuu nautinnostani, siitä, mitä muuta maailmassa tapahtuu ja mitä yleisöni haluaa kokea. Siitä huolimatta seuraava videoni käsittelee sataprosenttisesti jatkuvaa esikoulutusta mukautetuilla aineistoilla.