Tôi đã tinh chỉnh LLM trong hơn 2 năm qua! Dưới đây là 5 kỹ thuật tinh chỉnh LLM hàng đầu, được giải thích với hình ảnh: Trước hết, điều gì khác biệt về tinh chỉnh LLM? Tinh chỉnh truyền thống là không thực tế cho LLM (hàng tỷ tham số; hàng trăm GB). Vì loại tính toán này không phải ai cũng có thể tiếp cận, tinh chỉnh hiệu quả tham số (PEFT) đã ra đời. Trước khi đi vào chi tiết của từng kỹ thuật, đây là một số thông tin nền tảng sẽ giúp bạn hiểu rõ hơn về các kỹ thuật này: Trọng số LLM là các ma trận số được điều chỉnh trong quá trình tinh chỉnh. Hầu hết các kỹ thuật PEFT liên quan đến việc tìm kiếm một sự thích ứng bậc thấp hơn của các ma trận này, một ma trận có kích thước nhỏ hơn nhưng vẫn có thể đại diện cho thông tin được lưu trữ trong ma trận gốc. Bây giờ với một hiểu biết cơ bản về bậc của một ma trận, chúng ta đang ở vị trí tốt để hiểu các kỹ thuật tinh chỉnh khác nhau. (tham khảo hình ảnh bên dưới để có giải thích hình ảnh cho từng kỹ thuật) 1) LoRA - Thêm hai ma trận có thể huấn luyện bậc thấp, A và B, bên cạnh các ma trận trọng số. - Thay vì tinh chỉnh W, điều chỉnh các cập nhật trong các ma trận bậc thấp này. Ngay cả đối với những LLM lớn nhất, các ma trận LoRA chỉ chiếm một vài MB bộ nhớ. 2) LoRA-FA Trong khi LoRA giảm đáng kể tổng số tham số có thể huấn luyện, nó yêu cầu bộ nhớ kích hoạt đáng kể để cập nhật các trọng số bậc thấp....