Tenho afinado LLMs há mais de 2 anos! Aqui estão as 5 principais técnicas de fine-tuning de LLM, explicadas com visuais: Primeiro de tudo, o que há de tão diferente no fine-tuning de LLM? O fine-tuning tradicional é impraticável para LLMs (bilhões de parâmetros; 100s GB). Como esse tipo de computação não está acessível a todos, o fine-tuning eficiente em parâmetros (PEFT) surgiu. Antes de entrarmos em detalhes de cada técnica, aqui está um contexto que ajudará você a entender melhor essas técnicas: Os pesos de LLM são matrizes de números ajustadas durante o fine-tuning. A maioria das técnicas de PEFT envolve encontrar uma adaptação de menor classificação dessas matrizes, uma matriz de menor dimensão que ainda pode representar as informações armazenadas na original. Agora, com uma compreensão básica da classificação de uma matriz, estamos em uma boa posição para entender as diferentes técnicas de fine-tuning. (refira-se à imagem abaixo para uma explicação visual de cada técnica) 1) LoRA - Adicione duas matrizes treináveis de baixa classificação, A e B, ao lado das matrizes de peso. - Em vez de afinar W, ajuste as atualizações nessas matrizes de baixa classificação. Mesmo para os maiores LLMs, as matrizes LoRA ocupam alguns MBs de memória. 2) LoRA-FA Enquanto LoRA diminui significativamente o total de parâmetros treináveis, requer uma memória de ativação substancial para atualizar os pesos de baixa classificação....