Giới thiệu DiffSynth Studio: Khung công cụ mã nguồn mở tối ưu cho mô hình khuếch tán

Bạn muốn vận hành những mô hình tạo ảnh và video AI tiên tiến nhất ngay trên máy tính cá nhân của mình? DiffSynth Studio chính là động cơ mô hình khuếch tán mã nguồn mở bạn đang tìm kiếm. Dự án này, được cộng đồng ModelScope phát triển và duy trì, đã thiết kế lại quy trình suy luận và huấn luyện cho các mô hình khuếch tán phổ biến, giúp mọi người dễ dàng tận hưởng niềm vui sáng tạo với AI.

Điểm nổi bật của DiffSynth Studio ✨

Yêu cầu VRAM thấp, hiệu suất cao

Bạn đã từng gặp phải tình huống card đồ họa thiếu VRAM để chạy các mô hình AI lớn? Công nghệ quản lý bộ nhớ thông minh của DiffSynth Studio có khả năng điều phối tham số mô hình một cách linh hoạt giữa GPU, CPU và thậm chí là ổ cứng. Điều này có nghĩa là ngay cả với card đồ họa tiêu dùng chỉ có 8GB VRAM, bạn vẫn có thể chạy mượt mà các mô hình tiên phong như FLUX.2 và Qwen-Image!

Lợi ích cốt lõi: Nhờ cơ chế giải phóng bộ nhớ phân lớp sang ổ đĩa, DiffSynth Studio có thể đồng thời giải phóng cả RAM và VRAM, cho phép phần cứng có tài nguyên hạn chế xử lý các tác vụ tạo ảnh và video độ phân giải cao. Mô-đun diffsynth/core/vram/ trong dự án là nơi triển khai kỹ thuật đổi mới này.

Hỗ trợ mô hình đa dạng, giao diện thống nhất

Từ các mô hình Stable Diffusion kinh điển đến những phiên bản mới nhất như FLUX.2, Qwen-Image, hay các mô hình video Wan, DiffSynth Studio cung cấp một giao diện API chung. Bạn không cần phải học cách sử dụng khác nhau cho từng mô hình; chỉ cần một bộ mã, bạn có thể kiểm soát hàng chục mô hình AI hàng đầu.

Các loại mô hình được hỗ trợ bao gồm:

• Tạo ảnh: Z-Image, FLUX.1/FLUX.2, Qwen-Image, ERNIE-Image, HiDream-O1-Image, Anima, v.v.
• Tạo video: Dòng Wan, LTX-2, MOVA, và các mô hình tạo âm thanh/video khác.
• Tạo âm thanh: Mô hình tạo nhạc ACE-Step.
• Chỉnh sửa ảnh: JoyAI-Image, Qwen-Image-Edit, v.v.

Ba công nghệ cốt lõi nổi bật 🔥

1. Kỹ thuật quản lý VRAM tiên tiến

Hệ thống quản lý VRAM của DiffSynth Studio là điểm nhấn kỹ thuật lớn nhất của nó. Thông qua các mô-đun như diffsynth/core/vram/disk_map.py và diffsynth/core/vram/layers.py, hệ thống có thể:

• Tải động theo lớp: Chỉ tải các lớp mô hình vào VRAM của GPU khi cần thiết.
• Chiến lược giải phóng thông minh: Tự động di chuyển các tham số mô hình không hoạt động sang RAM CPU hoặc ổ đĩa.
• Hỗ trợ lượng tử hóa FP8: Giảm đáng kể mức tiêu thụ VRAM trong khi vẫn duy trì chất lượng.

2. Khung huấn luyện hợp nhất

Dù là huấn luyện toàn bộ tham số hay tinh chỉnh LoRA, DiffSynth Studio đều cung cấp quy trình huấn luyện tiêu chuẩn hóa. Mô-đun diffsynth/diffusion/training_module.py trong dự án đóng gói logic huấn luyện đầy đủ, hỗ trợ:

• Huấn luyện theo giai đoạn: Tự động tách biệt giai đoạn xử lý dữ liệu và huấn luyện để nâng cao hiệu quả.
• Huấn luyện LoRA chênh lệch: Một kỹ thuật huấn luyện sáng tạo để cải thiện hiệu suất mô hình.
• Huấn luyện giải phóng CPU: Giúp việc huấn luyện các mô hình lớn trên GPU tiêu dùng trở nên khả thi.

3. Các chức năng mở rộng phong phú

Ngoài các khả năng tạo cơ bản, DiffSynth Studio còn tích hợp nhiều tính năng cao cấp:

• Đánh giá chất lượng ảnh: Tích hợp các chỉ số đánh giá như PickScore, ImageReward, HPSv2/v3.
• Hỗ trợ mạng điều khiển: Các mô-đun điều khiển hoàn chỉnh như ControlNet, IP-Adapter.
• Hệ thống mẫu: Khung Diffusion Templates đổi mới, đơn giản hóa việc huấn luyện các mô hình tạo sinh có kiểm soát.

Hướng dẫn khởi động nhanh 🚀

Thiết lập môi trường dễ dàng

Chỉ với vài dòng lệnh, bạn có thể bắt đầu hành trình sáng tạo AI:

git clone https://gitcode.com/GitHub_Trending/dif/DiffSynth-Studio
cd DiffSynth-Studio
pip install -e .

Tạo hình ảnh AI đầu tiên của bạn

Muốn trải nghiệm sức mạnh của FLUX.2? Hãy thử ví dụ đơn giản này:

from diffsynth.pipelines.flux2_image import Flux2ImagePipeline, ModelConfig
import torch

# Cấu hình quản lý bộ nhớ
cau_hinh_bo_nho = {
    "offload_dtype": "disk",
    "offload_device": "disk",
    "onload_dtype": torch.float8_e4m3fn,
    "onload_device": "cpu",
    "preparing_dtype": torch.float8_e4m3fn,
    "preparing_device": "cuda",
    "computation_dtype": torch.bfloat16,
    "computation_device": "cuda",
}

# Khởi tạo pipeline tạo ảnh
pipeline_tao_anh = Flux2ImagePipeline.from_pretrained(
    torch_dtype=torch.bfloat16,
    device="cuda",
    model_configs=[
        ModelConfig(model_id="black-forest-labs/FLUX.2-dev", origin_file_pattern="text_encoder/*.safetensors", **cau_hinh_bo_nho),
        ModelConfig(model_id="black-forest-labs/FLUX.2-dev", origin_file_pattern="transformer/*.safetensors", **cau_hinh_bo_nho),
        ModelConfig(model_id="black-forest-labs/FLUX.2-dev", origin_file_pattern="vae/diffusion_pytorch_model.safetensors"),
    ],
    tokenizer_config=ModelConfig(model_id="black-forest-labs/FLUX.2-dev", origin_file_pattern="tokenizer/"),
    vram_limit=torch.cuda.mem_get_info("cuda")[1] / (1024 ** 3) - 0.5,
)

# Tạo hình ảnh AI của bạn
mo_ta_hinh_anh = "Chất lượng cao. Bức chân dung dưới nước đầy mơ mộng về một phụ nữ trẻ thanh bình trong chiếc váy xanh bồng bềnh. Tóc cô ấy nhẹ nhàng trôi quanh mặt, các sợi tóc nhẹ nhàng lơ lửng trong nước. Ánh sáng trong vắt, lấp lánh xuyên qua mặt nước, tạo ra những điểm sáng dịu nhẹ, bong bóng nhỏ li ti nổi lên xung quanh cô ấy. Vẻ mặt cô ấy bình yên, các đường nét tinh tế—tạo nên một cảnh tượng thanh tao, siêu thực."
ket_qua_anh = pipeline_tao_anh(mo_ta_hinh_anh, seed=42, rand_device="cuda", num_inference_steps=50)
ket_qua_anh.save("hinh_anh_ai_dau_tien.jpg")

Tính năng nâng cao: Trải nghiệm tạo video

Muốn tạo nội dung video động? Mô hình LTX-2 giúp bạn thực hiện điều đó dễ dàng:

from diffsynth.pipelines.ltx2_audio_video import LTX2AudioVideoPipeline, ModelConfig
from diffsynth.utils.data.media_io_ltx2 import write_video_audio_ltx2

pipeline_video_am_thanh = LTX2AudioVideoPipeline.from_pretrained(
    torch_dtype=torch.bfloat16,
    device="cuda",
    model_configs=[
        ModelConfig(model_id="google/gemma-3-12b-it-qat-q4_0-unquantized", origin_file_pattern="model-*.safetensors"),
        ModelConfig(model_id="DiffSynth-Studio/LTX-2-Repackage", origin_file_pattern="transformer.safetensors"),
        # ... Các cấu hình mô hình khác
    ]
)

mo_ta_video = "Một cô gái vô cùng vui vẻ, cô ấy đang nói: 'Tôi yêu thích việc sử dụng DiffSynth-Studio, nó là một khung công cụ hoàn hảo.'"
video_tao_ra, am_thanh_tao_ra = pipeline_video_am_thanh(
    prompt=mo_ta_video,
    seed=43,
    height=1024,
    width=1024,
    num_frames=121,
    tiled=True,
    use_two_stage_pipeline=True,
)

write_video_audio_ltx2(
    video=video_tao_ra,
    audio=am_thanh_tao_ra,
    output_path='video_ai_dau_tien.mp4',
    fps=24,
    audio_sample_rate=24000,
)

Các trường hợp ứng dụng thực tế 🎨

Tạo nội dung sáng tạo

Dù bạn là nhà thiết kế, người sáng tạo nội dung hay một người đam mê AI, DiffSynth Studio đều có thể mang lại sự thay đổi mang tính cách mạng cho quy trình làm việc sáng tạo của bạn:

• Thiết kế thương mại: Nhanh chóng tạo ra các bản concept sản phẩm, tài liệu tiếp thị.
• Sáng tạo nghệ thuật: Khám phá các phong cách nghệ thuật khác nhau, tạo ra các tác phẩm nghệ thuật kỹ thuật số độc đáo.
• Trình bày giáo dục: Tạo tài liệu giảng dạy sống động và video trình chiếu.
• Giải trí cá nhân: Tạo avatar, hình nền và nội dung mạng xã hội được cá nhân hóa.

Nghiên cứu và phát triển

Đối với các nhà nghiên cứu và nhà phát triển, DiffSynth Studio cung cấp một khung huấn luyện và thử nghiệm hoàn chỉnh:

• Tinh chỉnh mô hình: Sử dụng kỹ thuật LoRA để tùy chỉnh phong cách mô hình riêng.
• Thử nghiệm thuật toán: Thực hiện nghiên cứu đổi mới dựa trên các khung huấn luyện hiện có.
• Tối ưu hóa hiệu suất: Khám phá các chiến lược quản lý VRAM và lượng tử hóa khác nhau.

Hệ sinh thái cộng đồng và phát triển bền vững 🌱

DiffSynth Studio không chỉ là một công cụ mà còn là một cộng đồng mã nguồn mở năng động. Dự án được cập nhật định kỳ, hỗ trợ các mô hình và công nghệ AI mới nhất:

• Cập nhật liên tục: Kịp thời tích hợp các mô hình mã nguồn mở mới nhất (như Ideogram 4, HiDream-O1-Image, v.v.).
• Chia sẻ kiến thức: Chia sẻ kết quả nghiên cứu mới nhất thông qua các hướng dẫn và tài liệu kỹ thuật.
• Giải quyết vấn đề: Cộng đồng Discord hoạt động tích cực cung cấp hỗ trợ kỹ thuật và trao đổi.

DiffSynth Studio đã hạ thấp ngưỡng cửa cho việc sáng tạo AI, cho phép mọi người dễ dàng sử dụng các công nghệ mô hình khuếch tán tiên tiến nhất. Dù bạn muốn nhanh chóng tạo nội dung sáng tạo hay đi sâu vào công nghệ mô hình AI, khung công cụ mã nguồn mở này đều có thể đáp ứng nhu cầu của bạn.

Hãy truy cập thư mục examples/ của dự án ngay bây giờ để khám phá hàng chục đoạn mã ví dụ có sẵn, từ tạo ảnh đơn giản đến tạo video phức tạp, và từng bước bắt đầu hành trình sáng tạo AI của bạn!