Hướng dẫn chi tiết: Triển khai nhanh Fish Speech 1.5 trong 5 phút để xây dựng hệ thống tổng hợp giọng nói cá nhân

1. Vì sao nên chọn hình ảnh Fish Speech 1.5?

Tổng hợp giọng nói (TTS) đang trở thành công nghệ then chốt trong nhiều ứng dụng AI. Fish Speech 1.5, được xây dựng trên kiến trúc LLaMA và tích hợp bộ mã hóa âm thanh VQGAN, mang đến khả năng học không cần mẫu (zero-shot) – bạn chỉ cần một đoạn âm thanh tham chiếu dài 10–30 giây là có thể tái tạo gần như bất kỳ giọng nói nào.

So với các hệ thống TTS truyền thống, Fish Speech 1.5 nổi bật với ba ưu điểm:

  • Đa ngôn ngữ: Hỗ trợ tiếng Trung, Anh, Nhật, Hàn cùng 9 ngôn ngữ khác.
  • Chất lượng âm thanh cao: Tỷ lệ lỗi dưới 2% khi xử lý văn bản tiếng Anh dài 5 phút.
  • Dễ triển khai: Hình ảnh (image) đã được cấu hình sẵn, loại bỏ bước cài đặt phức tạp.

Bạn có thể dùng nó để lồng tiếng cho video, tạo sách nói, hoặc cá nhân hóa giọng nói cho avatar số.

2. Các bước triển khai hình ảnh Fish Speech

2.1 Chuẩn bị hệ thống

Yêu cầu phần cứng tối thiểu:

  • GPU NVIDIA hỗ trợ CUDA
  • Bộ nhớ GPU ≥ 6GB

Kiểm tra trạng thái GPU bằng lệnh:

nvidia-smi

Nếu đầu ra hiển thị thông tin GPU, nghĩa là driver đã được cài đặt đúng.

2.2 Khởi tạo dịch vụ

  1. Tìm kiếm hình ảnh fish-speech-1.5 (with preloaded model) v1 trên nền tảng điện toán đám mây.
  2. Chọn "Triển khai phiên bản mới".
  3. Chờ khoảng 1–2 phút để khởi động.

Lần đầu khởi động, hệ thống sẽ biên dịch kernel CUDA (mất 60–90 giây). Theo dõi tiến trình bằng lệnh:

tail -f /root/fish_speech.log

Khi xuất hiện dòng Backend API ready và Running on http://0.0.0.0:7860, dịch vụ đã sẵn sàng.

3. Tạo giọng nói qua giao diện Web

3.1 Truy cập WebUI

Sau khi khởi động xong, truy cập giao diện người dùng tại:

http://<IP_instance>:7860

Giao diện gồm hai phần: bên trái nhập văn bản, bên phải phát lại kết quả.

3.2 Tạo đoạn âm thanh đầu tiên

  1. Nhập nội dung: Xin chào, đây là bài kiểm thử hệ thống tổng hợp giọng nói Fish Speech
  2. Giữ nguyên giá trị mặc định Max Length = 1024
  3. Nhấn nút 🎵 Tạo giọng nói

Sau 2–5 giây, âm thanh sẽ được hiển thị và có thể phát trực tiếp.

3.3 Xuất file âm thanh

Nếu hài lòng với kết quả, nhấn 📥 Tải file WAV để lưu về máy. File xuất ra có định dạng WAV, tần số lấy mẫu 24kHz, kênh đơn – tương thích tốt với các phần mềm chỉnh sửa âm thanh phổ biến.

4. Gọi API để tổng hợp giọng nói

Fish Speech cung cấp API RESTful để tích hợp vào ứng dụng riêng.

4.1 Gọi API cơ bản

Thử lệnh sau trong terminal của instance:

curl -X POST http://127.0.0.1:7861/v1/tts \
  -H "Content-Type: application/json" \
  -d '{"text":"Kiểm thử API","reference_id":null}' \
  --output api_test.wav

File api_test.wav sẽ được lưu cục bộ với nội dung "Kiểm thử API".

4.2 Tham số API chính

Tham số Kiểu dữ liệu Bắt buộc Mô tả
text string ✓ Văn bản cần chuyển đổi thành giọng nói
reference_id string ✗ ID giọng nói tham chiếu (nếu có)
reference_audio string ✗ Đường dẫn file âm thanh tham chiếu
max_new_tokens int ✗ Giới hạn số token sinh tối đa
temperature float ✗ Điều chỉnh độ ngẫu nhiên (tự nhiên) của giọng nói

5. Tính năng nâng cao: Sao chép giọng nói (Voice Cloning)

5.1 Chuẩn bị âm thanh tham chiếu

Chuẩn bị file âm thanh rõ ràng, dài 10–30 giây (ưu tiên định dạng WAV), ghi trong môi trường yên tĩnh. Nội dung có thể là lời nói tự do bằng bất kỳ ngôn ngữ nào.

5.2 Gọi API để sao chép giọng

Sau khi upload file âm thanh lên server, thực hiện lệnh:

curl -X POST http://127.0.0.1:7861/v1/tts \
  -H "Content-Type: application/json" \
  -d '{"text":"Đây là giọng nói được tạo từ giọng của tôi","reference_audio":"/path/to/your/audio.wav"}' \
  --output cloned_voice.wav

File cloned_voice.wav sẽ mang đặc trưng về âm sắc từ file tham chiếu.

6. Xử lý sự cố thường gặp

6.1 Không truy cập được WebUI

  • Kiểm tra cổng 7860 có đang hoạt động: lsof -i :7860
  • Xem log chi tiết: tail -50 /root/fish_speech.log
  • Xác minh tường lửa đã mở cổng 7860 chưa

6.2 Tạo âm thanh bị treo

  • Rút ngắn độ dài văn bản đầu vào
  • Kiểm tra tài nguyên GPU: nvidia-smi
  • Đảm bảo không có tác vụ nặng nào đang chiếm dụng GPU

6.3 File âm thanh không có tiếng

  • Kiểm tra kích thước file – nếu nhỏ hơn 10KB thì bất thường
  • Thử tạo lại với tham số max_new_tokens lớn hơn
  • Xác nhận âm thanh tham chiếu đủ rõ ràng (nếu dùng voice cloning)

7. Mẹo sử dụng hiệu quả

  • Xử lý trước văn bản: Thêm dấu câu hợp lý giúp mô hình điều chỉnh ngữ điệu tự nhiên hơn.
  • Chọn âm thanh tham chiếu chất lượng: Giọng nói mẫu cần rõ ràng, ít nhiễu.
  • Điều chỉnh nhiệt độ: Dùng temperature=0.8~1.0 để tăng cảm xúc trong giọng nói.
  • Trộn ngôn ngữ: Hệ thống xử lý tốt văn bản song ngữ (ví dụ: Trung - Anh), nhưng nên thêm khoảng trắng khi chuyển ngôn ngữ.

8. Kết luận và hướng phát triển

Bạn đã hoàn tất việc triển khai Fish Speech 1.5 và tạo ra đoạn giọng nói đầu tiên chỉ trong vài phút. Với chất lượng đầu ra cao và quy trình đơn giản, đây là lựa chọn lý tưởng cho cả người mới bắt đầu lẫn nhà phát triển.

Các bước tiếp theo bạn có thể thử:

  • Tạo giọng nói với nhiều ngôn ngữ khác nhau
  • Chuyển đổi giọng nói của chính bạn hoặc người thân
  • Tích hợp API vào ứng dụng web hoặc di động
  • Theo dõi bản cập nhật chính thức từ đội ngũ phát triển Fish Audio

Thẻ: Fish Speech 1.5 tts CUDA REST API WebUI

Đăng vào ngày 23 tháng 10 lúc 14:57

Thẻ Phổ Biến

©2026 Thành phố Cuồng loạn