Triển khai DeepSeek-V3-0324 cục bộ với vLLM và SGLang
Tải mô hình
Vào ngày phát hành DeepSeek-V3-0324, đội ngũ chính thức đã tải lên tất cả các tham số mô hình trên Hugging Face tại địa chỉ:
https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Để tiện lợi, tôi thường tải mô hình từ ModelScope. Vào sáng ngày 25/3, ModelScope đã phát hành mô hình này, ngay cả khi README chưa được tải lên và mô hình g ...
Đăng vào ngày 5 tháng 7 lúc 07:54