Saya telah menyempurnakan LLM selama lebih dari 2 tahun sekarang! Berikut adalah 5 teknik penyempurnaan LLM teratas, dijelaskan dengan visual: Pertama-tama, apa yang berbeda dari finetuning LLM? Penyempurnaan tradisional tidak praktis untuk LLM (miliaran param; 100 detik GB). Karena komputasi semacam ini tidak dapat diakses oleh semua orang, penyempurnaan efisien parameter (PEFT) muncul. Sebelum kita membahas detail setiap teknik, berikut adalah beberapa latar belakang yang akan membantu Anda lebih memahami teknik ini: Bobot LLM adalah matriks angka yang disesuaikan selama penyetelan halus. Sebagian besar teknik PEFT melibatkan menemukan adaptasi peringkat rendah dari matriks ini, matriks dimensi yang lebih kecil yang masih dapat mewakili informasi yang disimpan dalam aslinya. Sekarang dengan pemahaman dasar tentang peringkat matriks, kami berada dalam posisi yang baik untuk memahami berbagai teknik penyetelan halus. (lihat gambar di bawah ini untuk penjelasan visual dari setiap teknik) 1) LoRA - Tambahkan dua matriks yang dapat dilatih peringkat rendah, A dan B, di samping matriks bobot. - Alih-alih menyempurnakan W, sesuaikan pembaruan dalam matriks peringkat rendah ini. Bahkan untuk LLM terbesar, matriks LoRA memakan beberapa MB memori. 2) LoRA-FA Meskipun LoRA secara signifikan mengurangi total parameter yang dapat dilatih, LoRA membutuhkan memori aktivasi yang substansial untuk memperbarui bobot peringkat rendah....