Giới thiệu dự án DisCo

DisCo (Disentangled Control for Realistic Human Dance Generation) là một dự án mã nguồn mở tiên phong, tập trung vào khả năng tạo sinh vũ đạo của con người một cách chân thực. Hệ thống này hỗ trợ tạo sinh cả hình ảnh và video, phục vụ cho nhiều mục đích sử dụng như tiền huấn luyện (pre-training), tinh chỉnh tổng quát (fine-tuning), hoặc tinh chỉnh chuyên sâu cho các nhân vật cụ thể. Với khả năng tổng quát hóa ấn tượng trên các bộ dữ liệu người thật quy mô lớn, DisCo có thể tạo ra các điệu nhảy mà không cần đến quá trình tinh chỉnh riêng cho từng cá nhân. Hiện tại, nó đang dẫn đầu về kết quả trong lĩnh vực tạo sinh vũ đạo con người dựa trên tham chiếu.

Khởi động dự án nhanh chóng

Để bắt đầu nhanh chóng với dự án DisCo, hãy thực hiện các bước sau:

1. Thiết lập môi trường

Đảm bảo Python phiên bản 3.8 trở lên đã được cài đặt trên hệ thống của bạn.

2. Cài đặt thư viện phụ thuộc

Sử dụng trình quản lý gói pip để cài đặt tất cả các gói cần thiết:

pip install --user torch==1.12.1+cu113 torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html
pip install --user progressbar psutil pymongo simplejson yacs boto3 pyyaml ete3 easydict deprecated future django orderedset python-magic datasets h5py omegaconf einops ipdb
pip install --user --exists-action w -r requirements.txt
pip install git+https://github.com/microsoft/azfuse.git
pip install --user deepspeed==0.6.3
pip install -v -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers
pip install protobuf==3.20.0

3. Chuẩn bị dữ liệu

DisCo sử dụng một tập hợp con các hình ảnh con người được tuyển chọn từ các kho ngữ liệu hiện có (như COCO, TikTok Style, DeepFashion2) cho quá trình tiền huấn luyện các thuộc tính con người. Các tệp dữ liệu tiền xử lý ở định dạng TSV có thể được tải xuống từ các nguồn trực tuyến được cung cấp trong tài liệu của dự án.

4. Tiến hành tiền huấn luyện

Sau khi đã chuẩn bị dữ liệu, bạn có thể khởi chạy quá trình tiền huấn luyện bằng lệnh sau:

AZFUSE_USE_FUSE=0 QD_USE_LINEIDX_8B=0 NCCL_ASYNC_ERROR_HANDLING=0 python finetune_sdm_yaml.py --cf config/ref_attn_clip_combine_controlnet_attr_pretraining/coco_S256_xformers_tsv_strongrand.py --do_train --root_dir /path/to/your/data

Hãy đảm bảo rằng bạn thay thế /path/to/your/data bằng đường dẫn thực tế đến thư mục chứa bộ dữ liệu của mình.

Các kịch bản ứng dụng và khuyến nghị tối ưu

DisCo cung cấp nhiều kịch bản ứng dụng thực tế, bao gồm:

• Tạo video vũ đạo: Dựa trên một hình ảnh nhân vật đầu vào, hệ thống có khả năng tạo ra một video vũ đạo tương ứng.
• Chỉnh sửa hình ảnh người: Sử dụng các tính năng chỉnh sửa hình ảnh trong DisCo thông qua giao diện tương tác để điều chỉnh các đặc điểm của nhân vật.

Để tối ưu hóa hiệu suất và ứng dụng của DisCo, người dùng nên:

• Bắt đầu với các mô hình đã được tiền huấn luyện (pre-trained models) làm nền tảng, sau đó tinh chỉnh chúng dựa trên các yêu cầu cụ thể của dự án.
• Trong giai đoạn tinh chỉnh, hãy sử dụng bộ dữ liệu có đặc điểm tương tự với kịch bản ứng dụng mục tiêu để cải thiện đáng kể khả năng tổng quát hóa của mô hình.

Các dự án liên quan trong hệ sinh thái

Trong hệ sinh thái công nghệ AI tạo sinh, DisCo có nhiều dự án liên quan đáng chú ý, bao gồm:

• Animate Anyone: Một dự án từ Alibaba, chuyên về tạo sinh hoạt ảnh từ hình ảnh tĩnh.
• MagicAnimate: Dự án của TikTok, tập trung vào việc tạo hiệu ứng hoạt hình cho hình ảnh.
• MagicDance: Cũng của TikTok, chuyên sâu vào tạo video vũ đạo chất lượng cao.