Jag har finjusterat LLM:er i över 2 år nu! Här är de fem främsta finjusteringsteknikerna för LLM, förklarade med visuella inslag: För det första, vad är det som är så annorlunda med finjustering av LLM? Traditionell finjustering är opraktisk för LLM:er (miljarder parametrar; 100 GB). Eftersom denna typ av beräkning inte är tillgänglig för alla, uppstod parameter-effektiv finjustering (PEFT). Innan vi går in på detaljer om varje teknik, här är lite bakgrund som hjälper dig att bättre förstå dessa tekniker: LLM-vikter är matriser av tal som justeras under finjusteringen. De flesta PEFT-tekniker innebär att man hittar en lägre rankad anpassning av dessa matriser, en mindredimensionell matris som fortfarande kan representera informationen som lagrats i originalet. Nu med en grundläggande förståelse för en matriss rang är vi i en bra position för att förstå de olika finjusteringsteknikerna. (se bilden nedan för en visuell förklaring av varje teknik) 1) LoRA - Lägg till två låg-rankade tränbara matriser, A och B, tillsammans med viktmatriser. - Istället för att finjustera W, justera uppdateringarna i dessa lågrankade matriser. Även för de största LLM:erna tar LoRA-matriser upp några MB minne. 2) LoRA-FA Även om LoRA avsevärt minskar de totala träningsbara parametrarna, krävs betydande aktiveringsminne för att uppdatera de lågrankade vikterna....