Giới thiệu WebUI Baichuan2-13B-Chat-4bits

Baichuan2-13B-Chat-4bits là mô hình ngôn ngữ lớn 13 tỷ tham số được tối ưu hóa bằng kỹ thuật lượng tử hóa 4-bit, giảm đáng kể yêu cầu bộ nhớ GPU xuống khoảng 10GB trong khi vẫn duy trì hiệu suất cao. WebUI cung cấp giao diện trực quan để tương tác với mô hình này.

Kiểm tra trạng thái hệ thống với check.sh

Tập lệnh check.sh thực hiện kiểm tra toàn diện trạng thái triển khai:

/root/baichuan2-13b-webui/check.sh

Kết quả hiển thị thông tin chi tiết:

• Trạng thái dịch vụ: Xác nhận dịch vụ đang hoạt động
• Lắng nghe cổng: Kiểm tra cổng 7860 đã được mở
• GPU: Hiển thị thông tin bộ nhớ và mức độ sử dụng
• Truy cập WebUI: Địa chỉ URL để truy cập giao diện
• Tự động khởi động: Xác nhận cấu hình khởi động cùng hệ thống

Truy cập và sử dụng giao diện Web

Truy cập giao diện qua trình duyệt:

http://[địa-chỉ-IP]:7860

Giao diện bao gồm:

• Khu vực lịch sử hội thoại
• Panel điều chỉnh tham số (có thể thu gọn)
• Ô nhập tin nhắn và nút gửi

Điều chỉnh tham số quan trọng

Temperature (Nhiệt độ)

Kiểm soát mức độ sáng tạo của phản hồi:

• 0.1-0.3: Phản hồi bảo thủ, phù hợp cho mã code
• 0.4-0.7: Mức độ thông thường cho hội thoại
• 0.8-1.2: Tăng cường sáng tạo

Top-p (Lấy mẫu hạt nhân)

Điều chỉnh phạm vi từ ngữ sử dụng:

• 0.9: Giá trị mặc định
• Giảm giá trị: Phản hồi dễ đoán hơn
• Tăng giá trị: Đa dạng hóa phản hồi

Max Tokens (Độ dài tối đa)

Giới hạn độ dài phản hồi:

• 512: Độ dài trung bình
• 1024: Phản hồi chi tiết
• 2048: Phản hồi dài

Quản lý dịch vụ

Các lệnh quản lý cơ bản

# Kiểm tra trạng thái
supervisorctl status baichuan-webui

# Khởi động dịch vụ
supervisorctl start baichuan-webui

# Dừng dịch vụ
supervisorctl stop baichuan-webui

# Khởi động lại
supervisorctl restart baichuan-webui

Theo dõi nhật ký

# Xem nhật ký gần đây
/root/baichuan2-13b-webui/manage.sh logs

# Theo dõi nhật ký truy cập
tail -f /root/baichuan2-13b-webui/logs/access.log

# Theo dõi nhật ký lỗi
tail -f /root/baichuan2-13b-webui/logs/error.log

Xử lý sự cố thường gặp

Không truy cập được WebUI

Kiểm tra tuần tự:

1. Trạng thái dịch vụ với supervisorctl
2. Trạng thái cổng với netstat
3. Cấu hình tường lửa
4. Địa chỉ IP chính xác

Hiệu suất chậm

Nguyên nhân có thể:

• Lần đầu tải mô hình
• GPU bị chiếm dụng
• Max Tokens thiết lập quá cao
• Câu hỏi quá phức tạp

Lỗi bộ nhớ GPU

Kiểm tra và xử lý:

# Kiểm tra sử dụng bộ nhớ
nvidia-smi

# Khởi động lại dịch vụ
supervisorctl restart baichuan-webui

Ứng dụng thực tế

Hỗ trợ lập trình

• Phát sinh mã code
• Giải thích code
• Kiểm tra code
• Gỡ lỗi

Hỗ trợ viết lách

• Tạo email
• Viết báo cáo
• Soạn nội dung quảng cáo

Hỗ trợ học tập

• Giải thích khái niệm
• Tạo bài tập
• Lập kế hoạch học tập