Sử dụng ComfyUI trong Cộng đồng Mô hình Đa dạng

ComfyUI là một giao diện người dùng đồ họa (GUI) chuyên biệt cho việc tạo và chỉnh sửa hình ảnh. Nó giúp phân chia quá trình tạo hình ảnh thành nhiều bước nhỏ, giúp người dùng dễ dàng tùy chỉnh theo nhu cầu.

1. Truy cập vào cộng đồng Mô hình Đa dạng:

2. Tải và cài đặt tệp thực thi của ComfyUI:

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/

3. Tải xuống tệp kịch bản công việc:

https://linklearner.com/activity/14/10/37

4. Mở tệp ComfyUI.ipynb và chạy chương trình cài đặt:

5. Khi chương trình chạy đến nút cuối cùng và xuất ra một liên kết, hãy sao chép liên kết đó và mở nó trên trình duyệt:

6. Nhấp vào Load, chọn tệp đã tải xuống, và chạy từng bước:

Sử dụng LoRA để điều chỉnh mô hình

1. Giới thiệu về LoRA

LoRA (Low-Rank Adaptation) là một kỹ thuật hiệu quả để điều chỉnh các mô hình đã được huấn luyện trước. Nó giúp cá nhân hóa mô hình cho các nhiệm vụ hoặc lĩnh vực cụ thể, đồng thời duy trì khả năng tổng quát hóa tốt và tiêu thụ tài nguyên thấp. Điều này rất quan trọng để thúc đẩy ứng dụng thực tế của các mô hình huấn luyện lớn.

2. Ví dụ về mã điều chỉnh từ Task2

Dưới đây là đoạn mã từ Task2, minh họa cách sử dụng LoRA để điều chỉnh mô hình:

import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # Chọn script huấn luyện LoRA
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # Đường dẫn tới mô hình unet
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # Đường dẫn tới text encoder
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # Đường dẫn tới mô hình vae
  --lora_rank 16 \ # Lựa chọn rank 16 để cân bằng giữa khả năng biểu diễn và hiệu suất huấn luyện
  --lora_alpha 4.0 \ # Đặt giá trị alpha cho LoRA, ảnh hưởng đến mức độ điều chỉnh
  --dataset_path data/lora_dataset_processed \ # Đường dẫn tới tập dữ liệu
  --output_path ./models \ # Đường dẫn lưu mô hình sau khi huấn luyện
  --max_epochs 1 \ # Số lượng epoch tối đa
  --center_crop \ # Bật tính năng cắt trung tâm
  --use_gradient_checkpointing \ # Bật gradient checkpointing để tiết kiệm bộ nhớ
  --precision "16-mixed" # Đặt độ chính xác huấn luyện là 16-bit mixed
""".strip()
os.system(cmd) # Thực hiện huấn luyện với LoRA