Hướng Dẫn Fine-Tuning Mô Hình Ngôn Ngữ Lớn Với Kỹ Thuật LORA
Bài viết này sẽ hướng dẫn bạn thực hiện fine-tuning mô hình ChatGLM3-6B sử dụng phương pháp LORA - một kỹ thuật fine-tuning hiệu quả về mặt tài nguyên.
Giới thiệu về LORA:
LORA (Low-Rank Adaptation) là phương pháp được đề xuất trong bài báo nghiên cứu tại địa chỉ arxiv:2106.09685. Thay vì thay đổi toàn bộ các tham số của mô hình gốc, LORA hoạt ...
Đăng vào ngày 7 tháng 7 lúc 19:16