Dòng mô hình Qwen (Tongyi Qianwen) của Alibaba Cloud đã khẳng định vị thế quan trọng trong cộng đồng mã nguồn mở bằng việc tiến hóa từ các mô hình thuần văn bản sang hệ sinh thái đa phương thức (multimodal) toàn diện. Bài viết này đi sâu vào lộ trình phát triển, các đột phá về thuật toán cốt lõi và chiến lược triển khai thực tế của dòng Qwen, đặc biệt là các cải tiến trong phiên bản Qwen 3 và Qwen3-Next.

Lộ trình tiến hóa: Từ xử lý văn bản đến trí tuệ đa năng

Sự phát triển của Qwen có thể chia thành các giai đoạn chiến lược, mỗi giai đoạn giải quyết một bài toán cụ thể về hiệu năng và khả năng mở rộng.

Phiên bản	Trọng tâm công nghệ	Đột phá chính
Qwen 1	Nền tảng ngôn ngữ	Tối ưu hóa Tokenizer cho tiếng Trung; áp dụng RMSNorm và SwiGLU để tăng tính ổn định khi huấn luyện.
Qwen 1.5	Mở rộng quy mô	Hỗ trợ ngữ cảnh 32K; cung cấp dải tham số rộng (0.5B - 110B); tối ưu hóa khả năng sử dụng công cụ (Tool Use).
Qwen 2/2.5	Đa phương thức & Tri thức	Dữ liệu huấn luyện lên tới 18T tokens; ra đời các phiên bản chuyên biệt như Qwen2-Coder và Qwen2.5-Math; hỗ trợ tương tác hình ảnh.
Qwen 2.5-Omni	Tương tác thời gian thực	Kiến trúc Thinker-Talker hỗ trợ đầu ra giọng nói luồng (streaming); thuật toán TMRoPE giúp căn chỉnh đồng bộ âm thanh - video.
Qwen 3 / Next	Hiệu năng MoE & Suy luận	Cấu trúc Mixture of Experts (MoE) với 128 chuyên gia; cơ chế "Thinking Mode" cho các tác vụ logic phức tạp; hỗ trợ ngữ cảnh 256K.

Kiến trúc Mixture of Experts (MoE) trong Qwen 3

Qwen 3 chuyển dịch mạnh mẽ sang kiến trúc MoE nhằm tối ưu hóa chi phí tính toán. Thay vì kích hoạt toàn bộ tham số cho mỗi truy vấn, MoE chỉ sử dụng một nhóm nhỏ "chuyên gia" phù hợp nhất. Trong Qwen3-235B, tổng số tham số là 235 tỷ nhưng chỉ có khoảng 22 tỷ tham số được kích hoạt cho mỗi token. Điều này cho phép mô hình đạt hiệu năng tương đương các mô hình Dense 400B trong khi tốc độ suy luận nhanh gấp 3 lần. Dưới đây là ví dụ minh họa logic của bộ định tuyến (Router) trong kiến trúc MoE của Qwen:

import torch
import torch.nn as nn
import torch.nn.functional as F

class ExpertGate(nn.Module):
    def __init__(self, embed_dim, total_experts, active_k=2):
        super().__init__()
        # Bộ định tuyến tuyến tính để phân loại token vào chuyên gia
        self.gate_layer = nn.Linear(embed_dim, total_experts)
        self.active_k = active_k

    def forward(self, hidden_states):
        # hidden_states shape: [batch, seq_len, embed_dim]
        logits = self.gate_layer(hidden_states)
        
        # Lấy top k chuyên gia có điểm số cao nhất
        weights, selected_ids = torch.topk(logits, self.active_k, dim=-1)
        
        # Chuẩn hóa trọng số bằng Softmax
        normalized_weights = F.softmax(weights, dim=-1)
        
        return selected_ids, normalized_weights

# Giả lập xử lý một token đặc trưng
feature_vector = torch.randn(1, 1, 1024)
router = ExpertGate(embed_dim=1024, total_experts=128, active_k=2)
expert_indices, gate_weights = router(feature_vector)

print(f"Chuyên gia được chọn: {expert_indices}")
print(f"Trọng số phân bổ: {gate_weights}")

Cơ chế Dual-Mode: Suy luận có ý thức

Một điểm độc đáo của dòng Qwen 3 là khả năng phân phối tài nguyên tính toán dựa trên độ khó của câu hỏi thông qua hai chế độ:

• No-Thinking (Chế độ phản xạ): Dành cho các yêu cầu đơn giản như tra cứu thông tin, dịch thuật cơ bản. Mô hình phản hồi trực tiếp, tiết kiệm 80% tài nguyên tính toán.
• Thinking (Chế độ suy ngẫm): Kích hoạt khi gặp các bài toán lập trình, chứng minh toán học hoặc lập kế hoạch kinh doanh. Mô hình sẽ tự động thực hiện các bước suy luận trung gian (Chain-of-Thought) trước khi đưa ra kết luận cuối cùng.

Đột phá đa phương thức và dữ liệu huấn luyện

Qwen3-Next được huấn luyện trên tập dữ liệu khổng lồ 36 nghìn tỷ (36T) tokens, bao gồm:

• Văn bản (55%): Bao quát 119 ngôn ngữ, từ tài liệu học thuật đến mã nguồn.
• Thị giác (25%): Hình ảnh độ phân giải cao và sơ đồ kỹ thuật. Qwen sử dụng cơ chế Dynamic Resolution ViT để tập trung vào các chi tiết quan trọng trong ảnh.
• Âm thanh & Video (20%): Khả năng nhận diện cảm xúc qua giọng nói và trích xuất sự kiện chính từ video với độ chính xác trên 90%.

Chiến lược triển khai và tối ưu hóa phần cứng

Tùy vào nhu cầu thực tế, nhà phát triển có thể lựa chọn các biến thể Qwen phù hợp:

1. Triển khai thiết bị đầu cuối (Edge Computing)

Sử dụng Qwen2.5-Omni-7B hoặc Qwen1.5-0.5B. Với kỹ thuật lượng tử hóa 4-bit, mô hình 7B có thể chạy mượt mà trên iPhone 16 Pro hoặc các dòng chip Snapdragon 8 Gen 4 với mức chiếm dụng VRAM khoảng 8GB. Ví dụ nạp mô hình Qwen đã lượng tử hóa bằng thư viện Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

model_id = "Qwen/Qwen2.5-7B-Instruct"

# Cấu hình lượng tử hóa 4-bit để tiết kiệm VRAM
q_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_quant_type="nf4"
)

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=q_config,
    device_map="auto"
)

print("Mô hình đã sẵn sàng để suy luận trên thiết bị cá nhân.")

2. Triển khai doanh nghiệp (Enterprise)

Đối với các hệ thống tổng đài tự động hoặc phân tích tài liệu quy mô lớn, Qwen3-Next-14B là lựa chọn cân bằng nhất. Mô hình này hỗ trợ ngữ cảnh 128K, cho phép đọc hiểu toàn bộ các tập tài liệu pháp lý hoặc báo cáo tài chính dài trong một lần xử lý.

3. Xử lý tác vụ phức tạp (High-End Reasoning)

Qwen3-235B-A22B được thiết kế cho các trung tâm dữ liệu sử dụng cụm GPU H100. Nhờ kiến trúc MoE, nó có thể xử lý hơn 1000 yêu cầu đồng thời, phù hợp cho việc nghiên cứu khoa học hoặc phát triển phần mềm tự động. Dòng mô hình Qwen không chỉ đại diện cho sức mạnh công nghệ của Alibaba mà còn cung cấp một lộ trình thực tiễn để đưa trí tuệ nhân tạo vào đời sống, từ những thiết bị cầm tay nhỏ nhất đến những hệ thống siêu máy tính phức tạp.