Următoarele câteva videoclipuri vor fi despre ajustarea fină a SLM-urilor. ❤️ 🔥 - Inițial am vrut un vid de 60 de minute care să acopere dezvoltarea modelelor după pretraining (CPT, Midtraining, SFT, RLHF, RLVR) - Dar asta mi-ar lua luni, așa că în schimb fac o mini-serie de videoclipuri de ~20 de minute. - Unsloth pe tot parcursul, cu ceva HF și Pytorch acolo unde este necesar. Partea din viața reală va folosi Prime Labs. - Lăsând codul la o parte, accentul major vor fi seturile de date. identificarea seturilor de date ale sistemelor de operare, pregătirea lor, generarea de seturi de date sintetice pentru antrenament etc. - O altă specializare importantă va fi evaluarea. Configurarea hamurilor pentru metrici. - Subiectele videoclipurilor ulterioare nu sunt încă complet planificate, capturile de ecran sunt o foaie de parcurs de bază. O să joc după ce întrebări voi primi! - Cu siguranță voi lucra la alte videoclipuri între timp. Dacă mintea mea rătăcește, o las. Dar sper să-l termin în următoarele 3 luni sau cam așa. Totul depinde de plăcerea mea, de ce altceva se întâmplă în lume și cu ce vrea publicul meu să interacționeze. Totuși, următorul meu videoclip va fi 100% despre preantrenarea continuă pe seturi de date personalizate.