¡Llevo más de 2 años afinando LLMs! Aquí tienes las 5 mejores técnicas de ajuste fino de LLM, explicadas con imágenes: Primero que nada, ¿qué tiene de diferente el ajuste fino de LLM? El ajuste fino tradicional es poco práctico para los LLMs (miles de millones de parámetros; 100s GB). Como este tipo de cálculo no es accesible para todos, surgió el ajuste fino eficiente en parámetros (PEFT). Antes de entrar en detalles de cada técnica, aquí tienes algunos antecedentes que te ayudarán a entender mejor estas técnicas: Los pesos LLM son matrices de números ajustados durante el ajuste fino. La mayoría de las técnicas PEFT implican encontrar una adaptación de rango inferior de estas matrices, una matriz de menor dimensión que aún puede representar la información almacenada en el original. Ahora, con una comprensión básica del rango de una matriz, estamos en una buena posición para entender las diferentes técnicas de ajuste fino. (consulta la imagen de abajo para una explicación visual de cada técnica) 1) LoRA - Añadir dos matrices de bajo rango entrenable, A y B, junto con matrices de pesos. - En lugar de ajustar W, ajustar las actualizaciones en estas matrices de bajo rango. Incluso para los LLM más grandes, las matrices LoRA ocupan unos pocos MB de memoria. 2) LoRA-FA Aunque LoRA disminuye significativamente los parámetros totales entrenables, requiere una memoria de activación considerable para actualizar los pesos de bajo rango....