Další videa budou o dolaďování SLM. ❤️ 🔥 - Původně jsem chtěl 60minutové video pokrývající vývoj modelů po předškolení (CPT, Midtraining, SFT, RLHF, RLVR) - Ale to by mi trvalo měsíce, takže místo toho dělám mini-sérii ~20minutových videí. - Unsloth po celou dobu s trochou HF a Pytorch tam, kde je to nutné. Část RL bude používat Prime Labs. - Kromě kódu bude hlavním hlavním zaměřením datová sada. identifikace datových sad operačního systému, jejich příprava, generování syntetických datových sad pro trénink atd - Další hlavní obor se bude týkat hodnocení. Nastavování postrojů pro metriky. - Témata pozdějších videí ještě nejsou plně naplánovaná, screenshot je základní plán. Budu to dělat podle toho, jaké otázky dostanu od vás! - Určitě budu pracovat na dalších videích mezi tím. Když mi myšlenky zabloudí, nechám to být. Ale doufám, že ji dokončím během příštích 3 měsíců. Všechno záleží na mém užívání, na tom, co se ve světě děje, a na tom, s čím chce moje publikum komunikovat. To znamená, že moje další video bude stoprocentně o pokračujícím předtrénování na vlastních datových sadách.