Thành phố Cuồng loạn

DeepSeek đang gây chấn động ngành công nghiệp AI không phải vì kích thước mô hình, mà cách họ tái định nghĩa quyền kiểm soát cơ sở hạ tầng. Bài viết này phân tích cách mô hình mã nguồn mở này giúp các startup vượt qua ba tầng chi phí ẩn mà các nhà cung cấp dịch vụ đám mây AI thường không công khai. Bẫy chi phí thứ nhất: Khoảng trống giữa lý th ...

Trong bối cảnh trí tuệ nhân tạo đang phát triển mạnh mẽ, việc triển khai các mô hình học sâu đã trở thành chủ đề nghiên cứu và ứng dụng thực tiễn được quan tâm hàng đầu. Lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), đặc biệt là các hệ thống hội thoại, đang nhanh chóng trở thành cốt lõi của các ứng dụng thông minh. Mô hình GLM-4-9B-Chat với khả năng ...

Sự Trỗi Dậy Của Các Mô Hình Ngôn Ngữ Kích Thước Nhỏ Trong các môi trường tính toán biên (edge computing) hoặc thiết bị cá nhân có tài nguyên hạn chế, việc vận hành các mô hình 7B hay 13B thường gặp phải nghẽn cổ chai về bộ nhớ VRAM và tốc độ suy luận. DeepSeek-R1-Distill-Qwen-1.5B ra đời như một giải pháp kỹ thuật chính xác cho bài toán này. Th ...

GLM-4-9B-Chat-1M hỗ trợ độ dài context lên đến 1 triệu token (tương đương 2 triệu ký tự tiếng Trung), vượt xa giới hạn thông thường của các mô hình lớn. Tuy nhiên, việc triển khai thực tế đòi hỏi giải pháp tối ưu bộ nhớ để tránh tràn RAM và duy trì tốc độ phản hồi. Bài viết phân tích cách vLLM áp dụng cơ chế PagedAttention để giải quyết bài toá ...

Giới thiệu về vllm-ascend trên nền tảng Ascend vllm-ascend là một plugin phần cứng cho mô hình ngôn ngữ lớn chạy trên chip AI của Ascend. Dự án này không chỉ hỗ trợ các tính năng phần cứng gốc mà còn cải tiến hệ thống phân phối, tối ưu hóa lượng tử và quản lý bộ nhớ, mang lại giải pháp mới cho việc triển khai mô hình lớn. Các thách thức kỹ t ...

Tải mô hình Vào ngày phát hành DeepSeek-V3-0324, đội ngũ chính thức đã tải lên tất cả các tham số mô hình trên Hugging Face tại địa chỉ: https://huggingface.co/deepseek-ai/DeepSeek-V3-0324 Để tiện lợi, tôi thường tải mô hình từ ModelScope. Vào sáng ngày 25/3, ModelScope đã phát hành mô hình này, ngay cả khi README chưa được tải lên và mô hình g ...

Khi làm việc với các mô hình ngôn ngữ lớn, đặc biệt là qua API, bạn sẽ gặp ba tham số quen thuộc: presence_penalty, frequency_penalty và repetition_penalty. Nhiều tài liệu chỉ giải thích sơ lược rằng cả ba đều dùng để giảm lặp từ, nhưng sự khác biệt cụ thể thường không được đề cập. Bài viết này sẽ phân tích chi tiết từ mã nguồn thực tế, giúp bạ ...

Trong kỷ nguyên AI sinh tổng hợp bùng nổ, một thách thức then chốt đang nổi lên: làm sao kiểm soát nội dung do mô hình lớn tạo ra? Khi người dùng tương tác với AI qua trợ lý ảo, nền tảng mạng xã hội hay dịch vụ khách hàng doanh nghiệp, ai sẽ đảm bảo phản hồi không chứa ngôn từ kích động thù hận, bạo lực hoặc thông tin nhạy cảm chính trị? Các g ...

Khi tiếp tục tiền huấn luyện (continual pre-training) dựa trên mô hình Qwen2.5-coder, trọng số của mô hình được lưu trữ tăng gấp đôi so với phiên bản gốc (Qwen2.5-coder 3b có kích thước 5 GB, sau khi huấn luyện và lưu trữ bằng safetensor là hơn 10 GB). Vấn đề này được phát hiện ngay sau khi hoàn thành quá trình huấn luyện, nhưng vì nó vẫn hoạt ...

Giới thiệu: Thời đại Tinh gọn của Trợ lý AI Cá nhân Bạn đã bao giờ nghĩ đến việc chạy một trợ lý AI hoàn chỉnh trên thiết bị của mình, nhưng lại do dự vì thể tích mô hình lớn và quy trình triển khai phức tạp? Các ứng dụng AI truyền thống thường cần nhiều GB không gian lưu trữ và tài nguyên phần cứng đắt đỏ, điều này khiến nhiều nhà phát triển ...