Jeg har finjustert LLM-er i over 2 år nå! Her er de fem beste finjusteringsteknikkene for LLM, forklart med visuelle elementer: Først og fremst, hva er så annerledes med finjustering av LLM? Tradisjonell finjustering er upraktisk for LLM-er (milliarder av parametere; 100 GB). Siden denne typen beregning ikke er tilgjengelig for alle, oppsto parameter-effektiv finjustering (PEFT). Før vi går inn på detaljene om hver teknikk, her er litt bakgrunn som vil hjelpe deg å forstå disse teknikkene bedre: LLM-vekter er matriser av tall justert under finjustering. De fleste PEFT-teknikker innebærer å finne en lavere rang tilpasning av disse matrisene, en mindredimensjonal matrise som fortsatt kan representere informasjonen lagret i originalen. Nå, med en grunnleggende forståelse av rangen til en matrise, er vi i en god posisjon til å forstå de ulike finjusteringsteknikkene. (se bildet nedenfor for en visuell forklaring av hver teknikk) 1) LoRA - Legg til to lav-rang treningsbare matriser, A og B, sammen med vektmatriser. - I stedet for å finjustere W, juster oppdateringene i disse lavrangsmatrisene. Selv for de største LLM-ene tar LoRA-matriser opp noen MB minne. 2) LoRA-FA Selv om LoRA reduserer de totale treningsbare parameterne betydelig, krever det betydelig aktiveringsminne for å oppdatere vektene med lav rang....