Trong quá trình huấn luyện mô hình chuyển đổi giọng nói dựa trên kiến trúc VITS, việc mất nhiều thời gian mà kết quả đầu ra vẫn bị méo tiếng hoặc thiếu đặc trưng là tình trạng phổ biến. Hai nguyên nhân chủ yếu dẫn đến hiện tượng này là mô hình học vẹt (overfitting) và mô hình chưa học đủ thông tin (underfitting). Bằng cách theo dõi các chỉ số mất mát kết hợp với phân tích trực quan, bạn có thể nhanh chóng xác định gốc rễ vấn đề và điều chỉnh tham số tương ứng.

Triệu chứng đặc trưng của từng trạng thái

Khi mô hình rơi vào trạng thái overfitting, nó sẽ ghi nhớ quá mức các nhiễu và chi tiết nhỏ trong tập huấn luyện, dẫn đến âm thanh tổng hợp xuất hiện tiếng kim loại hoặc âm sắc chát chát. Ngược lại, underfitting khiến giọng nói bị nhòa, mất hẳn đặc điểm ngữ điệu và chất giọng của mẫu dữ liệu gốc. Sự chênh lệch này có thể được xác nhận qua đồ thị hội tụ và biểu đồ phổ tần.

Ba chỉ số giám sát trọng yếu

1. Hệ thống tính toán Loss

Tệp modules/losses.py tích hợp ba thành phần đánh giá chính trong kiến trúc GAN:

• Mel Loss: Đo độ tương đồng về phổ âm giữa đầu ra và dữ liệu tham chiếu. Giá trị ổn định thường nằm dưới ngưỡng 0.02.
• KL Divergence: Đánh giá sự phân bố trong không gian tiềm ẩn. Nếu chỉ số này vượt quá 0.1 và tăng đột biến, khả năng cao mô hình đang học vẹt dữ liệu.
• Feature Matching Loss: So khớp đặc trưng giữa mạng generator và discriminator. Khoảng giá trị lý tưởng dao động từ 0.05 đến 0.15.

2. Cơ chế điều chỉnh tốc độ học (Learning Rate)

Việc áp dụng chiến lược warmup giúp ổn định gradient trong những epoch đầu tiên. Thay vì thay đổi thủ công, bạn có thể triển khai hàm điều chỉnh linh hoạt như sau:

def adjust_learning_rate(optimizer, current_epoch, peak_lr, warmup_epochs):
    if current_epoch < warmup_epochs:
        scale = current_epoch / warmup_epochs
        for group in optimizer.param_groups:
            group['lr'] = peak_lr * scale
    else:
        for group in optimizer.param_groups:
            group['lr'] = peak_lr

Đối với trường hợp overfitting, hãy hạ peak_lr xuống mức 1e-4. Ngược lại, nếu gặp underfitting, hãy gia tăng độ dài giai đoạn warmup lên khoảng 10 epoch để mô hình thu thập thông tin chậm rãi hơn.

3. Trực quan hóa phổ Mel

Biểu đồ phổ Mel được tự động render trong quá trình train là công cụ chẩn đoán trực quan nhất:

• Overfitting: Xuất hiện các đỉnh nhọn bất thường ở vùng tần số cao, phá vỡ cấu trúc hài hòa.
• Underfitting: Năng lượng tập trung dày đặc ở tần số thấp, các vạch phổ mờ và thiếu độ phân giải.
• Bình thường: Các vạch phổ liên tục, rõ ràng và phản ánh chính xác cấu trúc họa âm của giọng nói thực tế.

Quy trình kiểm tra và xử lý 5 bước

1. Cân đối tập dữ liệu: Tách dữ liệu theo tỷ lệ 80% huấn luyện và 20% đánh giá. Đảm bảo tệp danh sách đường dẫn (filelist) được sinh chính xác bằng script tiền xử lý.
2. Cấu hình ghi nhật ký: Cập nhật file cấu hình JSON để kích hoạt ghi nhận chi tiết. Giảm micro_batch xuống còn 4 hoặc 8 nếu phát hiện dấu hiệu mất ổn định.

{
  "training_config": {
    "log_step": 100,
    "eval_step": 1000,
    "micro_batch": 8
  }
}

3. Theo dõi đường cong hội tụ: Mở TensorBoard và quan sát sự chênh lệch giữa loss huấn luyện và loss đánh giá. Nếu khoảng cách này mở rộng liên tục qua nhiều epoch, đây là dấu hiệu cảnh báo rõ rệt.
4. So sánh đầu ra trực quan: Truy cập thư mục logs để đối chiếu phổ Mel gốc (mel_org) với phổ tổng hợp (mel_gen). Đồng thời, kiểm tra đường cong dự đoán cao độ (lf0) xem có bám sát đường gốc không.
5. Điều chỉnh siêu tham số:

Triển khai cơ chế ngắt sớm (Early Stopping)

Để ngăn chặn mô hình tiếp tục học các nhiễu sau khi đã hội tụ, bạn có thể tích hợp logic kiểm tra giá trị loss trên tập validation. Đoạn mã dưới đây minh họa cách triển khai bộ đếm patience:

class TrainingMonitor:
    def __init__(self, patience_limit=5):
        self.best_metric = float('inf')
        self.counter = 0
        self.patience_limit = patience_limit

    def check_stop(self, current_val_loss):
        if current_val_loss < self.best_metric - 1e-4:
            self.best_metric = current_val_loss
            self.counter = 0
        else:
            self.counter += 1

        if self.counter >= self.patience_limit:
            return True  # Dừng huấn luyện
        return False

Song song với việc ngắt sớm, hãy cấu hình lưu trữ checkpoint định kỳ. Việc so sánh chất lượng âm thanh giữa các checkpoint khác nhau giúp xác định chính xác epoch tối ưu, trước khi mô hình bắt đầu suy giảm hiệu năng.