Ik ben al meer dan 2 jaar bezig met het fijn afstemmen van LLM's! Hier zijn de top 5 technieken voor het fijn afstemmen van LLM's, uitgelegd met visuals: Allereerst, wat is er zo anders aan het fijn afstemmen van LLM's? Traditioneel fijn afstemmen is onpraktisch voor LLM's (miljarden parameters; 100s GB). Aangezien deze soort rekencapaciteit niet voor iedereen toegankelijk is, is parameter-efficiënt fijn afstemmen (PEFT) ontstaan. Voordat we in detail ingaan op elke techniek, hier is wat achtergrondinformatie die je zal helpen deze technieken beter te begrijpen: LLM-gewichten zijn matrices van getallen die tijdens het fijn afstemmen worden aangepast. De meeste PEFT-technieken houden in dat er een lagere-rang aanpassing van deze matrices wordt gevonden, een matrix met een kleinere dimensie die nog steeds de informatie kan vertegenwoordigen die in de originele is opgeslagen. Nu we een basisbegrip hebben van de rang van een matrix, zijn we in een goede positie om de verschillende fijn afstemtechnieken te begrijpen. (verwijs naar de afbeelding hieronder voor een visuele uitleg van elke techniek) 1) LoRA - Voeg twee laag-rang trainbare matrices toe, A en B, naast de gewichtsmatrices. - In plaats van W fijn af te stemmen, pas je de updates in deze laag-rang matrices aan. Zelfs voor de grootste LLM's nemen LoRA-matrices slechts een paar MB aan geheugen in beslag. 2) LoRA-FA Hoewel LoRA het totale aantal trainbare parameters aanzienlijk vermindert, vereist het aanzienlijke activatierecuperatie om de laag-rang gewichten bij te werken....