Thành phố Cuồng loạn

Tải mô hình Vào ngày phát hành DeepSeek-V3-0324, đội ngũ chính thức đã tải lên tất cả các tham số mô hình trên Hugging Face tại địa chỉ: https://huggingface.co/deepseek-ai/DeepSeek-V3-0324 Để tiện lợi, tôi thường tải mô hình từ ModelScope. Vào sáng ngày 25/3, ModelScope đã phát hành mô hình này, ngay cả khi README chưa được tải lên và mô hình g ...

Khi làm việc với các mô hình ngôn ngữ lớn, đặc biệt là qua API, bạn sẽ gặp ba tham số quen thuộc: presence_penalty, frequency_penalty và repetition_penalty. Nhiều tài liệu chỉ giải thích sơ lược rằng cả ba đều dùng để giảm lặp từ, nhưng sự khác biệt cụ thể thường không được đề cập. Bài viết này sẽ phân tích chi tiết từ mã nguồn thực tế, giúp bạ ...

Trong kỷ nguyên AI sinh tổng hợp bùng nổ, một thách thức then chốt đang nổi lên: làm sao kiểm soát nội dung do mô hình lớn tạo ra? Khi người dùng tương tác với AI qua trợ lý ảo, nền tảng mạng xã hội hay dịch vụ khách hàng doanh nghiệp, ai sẽ đảm bảo phản hồi không chứa ngôn từ kích động thù hận, bạo lực hoặc thông tin nhạy cảm chính trị? Các g ...

Khi tiếp tục tiền huấn luyện (continual pre-training) dựa trên mô hình Qwen2.5-coder, trọng số của mô hình được lưu trữ tăng gấp đôi so với phiên bản gốc (Qwen2.5-coder 3b có kích thước 5 GB, sau khi huấn luyện và lưu trữ bằng safetensor là hơn 10 GB). Vấn đề này được phát hiện ngay sau khi hoàn thành quá trình huấn luyện, nhưng vì nó vẫn hoạt ...

Giới thiệu: Thời đại Tinh gọn của Trợ lý AI Cá nhân Bạn đã bao giờ nghĩ đến việc chạy một trợ lý AI hoàn chỉnh trên thiết bị của mình, nhưng lại do dự vì thể tích mô hình lớn và quy trình triển khai phức tạp? Các ứng dụng AI truyền thống thường cần nhiều GB không gian lưu trữ và tài nguyên phần cứng đắt đỏ, điều này khiến nhiều nhà phát triển ...

Triển khai Qwen3.5 với vLLM (2026 mới nhất) Bài hướng dẫn này bao gồm các bước **tải mô hình Qwen3.5, cài đặt vLLM, khởi động dịch vụ, cấu hình tham số chính, gọi API, tối ưu hóa lượng tử, và triển khai đa GPU**. Hướng dẫn này áp dụng cho môi trường Linux/WSL2. I. Yêu cầu phần cứng và môi trường 1.1 Đề xuất cấu hình phần cứng Quy mô mô hì ...

Trải qua hai năm chuyển đổi số cho sản phẩm hiện có và phát triển sản phẩm AI gốc từ đầu, nhóm kỹ thuật đã gặp nhiều thách thức đáng kể. Dưới đây là tổng hợp kinh nghiệm thực tế. 1. Góc độ sản phẩm 1.1 Tích hợp vào quy trình làm việc sẵn có Việc thuyết phục người dùng nội bộ chấp nhận công cụ mới đã khó, chưa nói đến việc yêu cầu khách hàng c ...