لقد كنت أضبط نماذج اللغة الكبيرة بدقة لأكثر من عامين الآن! إليك أفضل 5 تقنيات ضبط دقيقة لنماذج اللغة الكبيرة، موضحة مع الصور: أولا، ما الفرق في ضبط نماذج اللغة الكبيرة الدقيقة؟ الضبط الدقيق التقليدي غير عملي لنماذج اللغة الكبيرة (مليارات المعلمات؛ مئات الجيجابايت). ونظرا لأن هذا النوع من الحوسبة ليس متاحا للجميع، فقد ظهر الضبط الدقيق الفعال للمعاملات (PEFT). قبل أن ندخل في تفاصيل كل تقنية، إليك بعض الخلفية التي ستساعدك على فهم هذه التقنيات بشكل أفضل: أوزان النماذج الكبيرة هي مصفوفات للأرقام التي يتم تعديلها أثناء الضبط الدقيق. تتضمن معظم تقنيات PEFT إيجاد تعديل أقل رتبة لهذه المصفوفات، وهي مصفوفة أصغر الأبعاد يمكنها تمثيل المعلومات المخزنة في الأصل. الآن مع فهم أساسي لرتبة المصفوفة، نحن في وضع جيد لفهم تقنيات الضبط الدقيق المختلفة. (يرجى الرجوع إلى الصورة أدناه لشرح بصري لكل تقنية) 1) LoRA - إضافة مصفوفتين قابلتين للتدريب منخفضتي الرتبة، A و B، إلى جانب مصفوفات الوزن. - بدلا من ضبط W بدقة، قم بضبط التحديثات في هذه المصفوفات منخفضة الرتبة. حتى بالنسبة لأكبر نماذج اللغة الكبيرة (LLMs)، تستهلك مصفوفات LoRA بضعة ميجابايت من الذاكرة. 2) LoRA-FA بينما يقلل LoRA بشكل كبير إجمالي المعلمات القابلة للتدريب، إلا أنه يتطلب ذاكرة تنشيط كبيرة لتحديث الأوزان ذات الرتبة المنخفضة....