Ich habe seit über 2 Jahren LLMs optimiert! Hier sind die Top 5 Techniken zur Feinabstimmung von LLMs, erklärt mit visuellen Darstellungen: Zunächst einmal, was ist so anders an der Feinabstimmung von LLMs? Traditionelle Feinabstimmung ist für LLMs (Milliarden von Parametern; Hunderte GB) unpraktisch. Da diese Art von Rechenleistung nicht für jeden zugänglich ist, entstand die parameter-effiziente Feinabstimmung (PEFT). Bevor wir in die Details jeder Technik eintauchen, hier einige Hintergrundinformationen, die Ihnen helfen werden, diese Techniken besser zu verstehen: Die LLM-Gewichte sind Matrizen von Zahlen, die während der Feinabstimmung angepasst werden. Die meisten PEFT-Techniken beinhalten das Finden einer niedrig-rangigen Anpassung dieser Matrizen, einer kleiner dimensionierten Matrix, die dennoch die Informationen repräsentieren kann, die in der Originalmatrix gespeichert sind. Jetzt, mit einem grundlegenden Verständnis des Rangs einer Matrix, sind wir in einer guten Position, um die verschiedenen Feinabstimmungstechniken zu verstehen. (Verweisen Sie auf das Bild unten für eine visuelle Erklärung jeder Technik) 1) LoRA - Fügen Sie zwei niedrig-rangige trainierbare Matrizen, A und B, neben den Gewichtsmatrizen hinzu. - Anstatt W feinabzustimmen, passen Sie die Updates in diesen niedrig-rangigen Matrizen an. Selbst für die größten LLMs benötigen LoRA-Matrizen nur wenige MB Speicher. 2) LoRA-FA Während LoRA die Gesamtzahl der trainierbaren Parameter erheblich reduziert, erfordert es erhebliche Aktivierungsspeicher, um die niedrig-rangigen Gewichte zu aktualisieren....