Triển khai DeepSeek-V3-0324 cục bộ với vLLM và SGLang

Tải mô hình Vào ngày phát hành DeepSeek-V3-0324, đội ngũ chính thức đã tải lên tất cả các tham số mô hình trên Hugging Face tại địa chỉ: https://huggingface.co/deepseek-ai/DeepSeek-V3-0324 Để tiện lợi, tôi thường tải mô hình từ ModelScope. Vào sáng ngày 25/3, ModelScope đã phát hành mô hình này, ngay cả khi README chưa được tải lên và mô hình g ...

Đăng vào ngày 5 tháng 7 lúc 07:54