I prossimi video saranno incentrati sul fine-tuning degli SLM.❤️‍🔥 - Inizialmente volevo un video di 60 minuti che coprisse lo sviluppo del modello dopo il pre-addestramento (CPT, Midtraining, SFT, RLHF, RLVR) - Ma ci vorrebbero mesi, quindi invece farò una mini-serie di video di circa 20 minuti. - Unsloth in tutto con un po' di HF e Pytorch dove necessario. La parte RL utilizzerà Prime Labs. - A parte il codice, il focus principale sarà sui dataset. Identificare i dataset OS, prepararli, generare dataset sintetici per l'addestramento, ecc. - Un altro aspetto importante sarà la valutazione. Impostare i sistemi per le metriche. - Gli argomenti dei video successivi non sono ancora completamente pianificati, lo screenshot è una roadmap di base. Mi adatterò in base alle domande che ricevo da voi! - Lavorerò sicuramente su altri video nel frattempo. Se la mia mente vaga, lo lascerò fare. Ma spero di finirlo nei prossimi 3 mesi circa. Tutto dipende dal mio divertimento, da cosa succede nel mondo e da cosa il mio pubblico vuole interagire. Detto ciò, il mio prossimo video sarà al 100% incentrato sul pre-addestramento continuo su dataset personalizzati.