J'affine des LLM depuis plus de 2 ans maintenant ! Voici les 5 meilleures techniques d'affinage des LLM, expliquées avec des visuels : Tout d'abord, qu'est-ce qui est si différent dans l'affinage des LLM ? L'affinage traditionnel est impraticable pour les LLM (des milliards de paramètres ; des centaines de Go). Comme ce type de calcul n'est pas accessible à tout le monde, l'affinage efficace en paramètres (PEFT) a vu le jour. Avant d'entrer dans les détails de chaque technique, voici quelques informations de base qui vous aideront à mieux comprendre ces techniques : Les poids des LLM sont des matrices de nombres ajustées pendant l'affinage. La plupart des techniques PEFT impliquent de trouver une adaptation de rang inférieur de ces matrices, une matrice de plus petite dimension qui peut encore représenter les informations stockées dans l'original. Maintenant, avec une compréhension de base du rang d'une matrice, nous sommes en bonne position pour comprendre les différentes techniques d'affinage. (faites référence à l'image ci-dessous pour une explication visuelle de chaque technique) 1) LoRA - Ajoutez deux matrices entraînables de rang faible, A et B, aux matrices de poids. - Au lieu d'affiner W, ajustez les mises à jour dans ces matrices de rang faible. Même pour les plus grands LLM, les matrices LoRA occupent quelques Mo de mémoire. 2) LoRA-FA Bien que LoRA réduise considérablement le nombre total de paramètres entraînables, elle nécessite une mémoire d'activation substantielle pour mettre à jour les poids de rang faible....