¡He estado ajustando LLMs durante más de 2 años! Aquí están las 5 principales técnicas de ajuste fino de LLM, explicadas con visuales: Primero que nada, ¿qué es lo que hace que el ajuste fino de LLM sea tan diferente? El ajuste fino tradicional es poco práctico para los LLMs (miles de millones de parámetros; cientos de GB). Dado que este tipo de computación no es accesible para todos, surgió el ajuste fino eficiente en parámetros (PEFT). Antes de entrar en los detalles de cada técnica, aquí hay un poco de contexto que te ayudará a entender mejor estas técnicas: Los pesos de LLM son matrices de números ajustadas durante el ajuste fino. La mayoría de las técnicas de PEFT implican encontrar una adaptación de menor rango de estas matrices, una matriz de menor dimensión que aún puede representar la información almacenada en la original. Ahora, con una comprensión básica del rango de una matriz, estamos en una buena posición para entender las diferentes técnicas de ajuste fino. (referirse a la imagen de abajo para una explicación visual de cada técnica) 1) LoRA - Agrega dos matrices entrenables de bajo rango, A y B, junto a las matrices de pesos. - En lugar de ajustar W, ajusta las actualizaciones en estas matrices de bajo rango. Incluso para los LLMs más grandes, las matrices LoRA ocupan unos pocos MB de memoria. 2) LoRA-FA Mientras que LoRA disminuye significativamente el total de parámetros entrenables, requiere una memoria de activación sustancial para actualizar los pesos de bajo rango....