Ho perfezionato LLM per oltre 2 anni! Ecco le 5 migliori tecniche di fine-tuning per LLM, spiegate con immagini: Prima di tutto, cosa c'è di così diverso nel fine-tuning degli LLM? Il fine-tuning tradizionale è impraticabile per gli LLM (miliardi di parametri; centinaia di GB). Poiché questo tipo di calcolo non è accessibile a tutti, è nata l'ottimizzazione efficiente dei parametri (PEFT). Prima di entrare nei dettagli di ciascuna tecnica, ecco alcune informazioni di base che ti aiuteranno a comprendere meglio queste tecniche: I pesi degli LLM sono matrici di numeri regolati durante il fine-tuning. La maggior parte delle tecniche PEFT comporta la ricerca di un'adattamento a rango inferiore di queste matrici, una matrice di dimensioni più piccole che può comunque rappresentare le informazioni memorizzate nell'originale. Ora, con una comprensione di base del rango di una matrice, siamo in una buona posizione per comprendere le diverse tecniche di fine-tuning. (riferisciti all'immagine qui sotto per una spiegazione visiva di ciascuna tecnica) 1) LoRA - Aggiungi due matrici addestrabili a basso rango, A e B, insieme alle matrici di peso. - Invece di fare fine-tuning su W, regola gli aggiornamenti in queste matrici a basso rango. Anche per i più grandi LLM, le matrici LoRA occupano solo pochi MB di memoria. 2) LoRA-FA Mentre LoRA riduce significativamente il numero totale di parametri addestrabili, richiede una notevole memoria di attivazione per aggiornare i pesi a basso rango....