Tenho afinado LLMs há mais de 2 anos! Aqui estão as 5 melhores técnicas de ajuste fino de LLM, explicadas com visuais: Antes de tudo, o que há de tão diferente no finetuning de LLM? O ajuste fino tradicional é impraticável para LLMs (bilhões de parâmetros; 100s GB). Como esse tipo de computação não é acessível a todos, surgiu o ajuste fino eficiente em parâmetros (PEFT). Antes de entrarmos em detalhes de cada técnica, aqui está um pouco de contexto que vai te ajudar a entender melhor essas técnicas: Pesos LLM são matrizes de números ajustados durante o ajuste fino. A maioria das técnicas PEFT envolve encontrar uma adaptação de patente inferior dessas matrizes, uma matriz de dimensão menor que ainda pode representar a informação armazenada no original. Agora, com um entendimento básico do posto de uma matriz, estamos em uma boa posição para entender as diferentes técnicas de ajuste fino. (consulte a imagem abaixo para uma explicação visual de cada técnica) 1) LoRA - Adicionar duas matrizes treináveis de baixo grau, A e B, ao lado das matrizes de pesos. - Em vez de ajustar W, ajustar as atualizações nessas matrizes de baixa patente. Mesmo para os maiores LLMs, matrizes LoRA ocupam alguns MBs de memória. 2) LoRA-FA Embora o LoRA diminua significativamente os parâmetros totais treináveis, requer uma memória de ativação substancial para atualizar os pesos de baixo nível....