Khi cài đặt mô hình Ollama cục bộ trong OpenClaw, mô hình phù hợp nhất phụ thuộc vào cấu hình phần cứng của máy tính của bạn (không gian VRAM và RAM). OpenClaw chỉ đóng vai trò kết nối, tốc độ và ổn định của mô hình được quyết định bởi cả Ollama và phần cứng.

Dưới đây là danh sách các mô hình lớn được đề xuất và lời khuyên về cấu hình dựa trên các cấu hình phần cứng khác nhau:

Bước 1: Xác định cấu hình phần cứng của bạn

Hãy kiểm tra dung lượng VRAM của GPU hoặc RAM hệ thống của bạn (nếu không có GPU độc lập):

• Windows: Quản lý Nhiệm vụ -> Hiệu suất -> GPU -> Bộ nhớ GPU chuyên dụng.
• Mac: Nhấp vào biểu tượng táo ở góc trái trên -> Về máy tính -> Bộ nhớ thống nhất.
• Linux: Nhập lệnh nvidia-smi (cho GPU NVIDIA) hoặc free -h (cho RAM) trong terminal.

Bảng so sánh cấu hình phần cứng với mô hình đề xuất

1. Máy tính cơ bản / Cũ / Chỉ chạy bằng CPU

• Đặc điểm phần cứng:
• VRAM < 4GB hoặc không có GPU độc lập
• RAM: 8GB - 16GB
• Lời khuyên: Sử dụng các mô hình nhỏ với số lượng tham số ít và đã được lượng hóa (Quantized), nếu không tốc độ sẽ rất chậm (từ vài chữ mỗi giây).
• Mô hình đề xuất: | Tên mô hình | Số lượng tham số | Phiên bản đề xuất (Ollama Tag) | Đặc điểm | Ứng dụng | |---|---|---|---|---| | **Qwen2.5-3B** | 3B | qwen2.5:3b | **Nổi bật trong lĩnh vực Trung Quốc**, hiểu rõ tiếng Trung, tốc độ nhanh | Hội thoại hàng ngày, dịch thuật đơn giản, tóm tắt | | **Phi-3.5-mini** | 3.8B | phi3.5:mini | Nhà Microsoft sản xuất, khả năng suy luận xuất sắc trong các mô hình nhỏ | Bài toán logic, đoạn mã, suy luận | | **Gemma-2-2b** | 2B | gemma2:2b | Nhà Google sản xuất, siêu nhẹ | Phản hồi nhanh chóng, câu hỏi đơn giản | | **TinyLlama** | 1.1B | tinyllama | Khủng nhỏ cực kỳ | Thử nghiệm trên thiết bị có cấu hình thấp |
• Kinh nghiệm mong đợi: Thời gian phản hồi < 2 giây, tốc độ tạo token 20-50 token/giây.

2. Cấu hình trung bình / Máy chơi game / GPU đầu vào cơ bản

• Đặc điểm phần cứng:
• VRAM: 6GB - 8GB (ví dụ: RTX 3060, 4060, 4070 Laptop)
• RAM: 16GB - 32GB
• Lời khuyên: Có thể chạy mượt mà các mô hình có số lượng tham số từ 7B đến 9B, đây là vùng "điểm ngọt" giữa hiệu suất và khả năng thông minh.
• Mô hình đề xuất: | Tên mô hình | Số lượng tham số | Phiên bản đề xuất (Ollama Tag) | Đặc điểm | Ứng dụng | |---|---|---|---|---| | **Qwen2.5-7B** | 7B | qwen2.5:7b | **Đề xuất hàng đầu**. Khả năng tiếng Trung tuyệt vời, đa năng | Viết lách, hội thoại phức tạp, diễn đạt nhân vật | | **Llama-3.1-8B** | 8B | llama3.1:8b | Nhà Meta sản xuất, tiếng Anh mạnh mẽ, suy luận tốt | Công việc tiếng Anh, suy luận chung | | **DeepSeek-R1-Distill-Qwen-7B** | 7B | deepseek-r1:7b | **Tăng cường khả năng suy luận**, phù hợp cho toán học/bài toán logic | Giải bài toán toán học, gỡ lỗi mã, suy nghĩ sâu sắc | | **Mistral-Nemo-12B** | 12B | mistral-nemo:12b | Một chút lớn hơn nhưng vẫn chạy được trên 8GB VRAM (cần lượng hóa) | Các tình huống cần ngữ cảnh dài hơn |
• Kinh nghiệm mong đợi: Thời gian phản hồi 1-3 giây, tốc độ tạo token 15-30 token/giây (rất mượt mà).

3. Cấu hình cao cấp / Máy tính để bàn / Máy chủ chuyên dụng

• Đặc điểm phần cứng:
• VRAM: 12GB - 16GB (ví dụ: RTX 3090, 4070Ti, 4080)
• RAM: 32GB+
• Lời khuyên: Có thể chạy các mô hình lớn từ 14B đến 20B, khả năng gần như GPT-3.5, có thể xử lý các nhiệm vụ phức tạp.
• Mô hình đề xuất: | Tên mô hình | Số lượng tham số | Phiên bản đề xuất (Ollama Tag) | Đặc điểm | Ứng dụng | |---|---|---|---|---| | **Qwen2.5-14B** | 14B | qwen2.5:14b | **Đề xuất mạnh mẽ**. Viết lách tiếng Trung, khả năng lập trình xuất sắc | Viết văn bản dài, tạo mã phức tạp, phân tích dữ liệu | | **DeepSeek-V2-Lite** | 16B | deepseek-v2-lite | Đề chế MoE, tốc độ nhanh, trí thông minh cao | Nhiệm vụ tổng quát, hội thoại nhiều vòng | | **Yi-1.5-34B (Q4\_K\_M)** | 34B | yi-1.5-34b:q4\_k\_m | Cần VRAM cao, văn bản dài tiếng Trung tuyệt vời | Phân tích tài liệu dài, kiến thức chuyên ngành | | **Command R** | 35B | command-r:35b | Chuyên về RAG (tìm kiếm hỗ trợ sinh thành) | Hợp tác với chức năng đọc tệp của OpenClaw |
• Kinh nghiệm mong đợi: Thời gian phản hồi 2-5 giây, tốc độ tạo token 8-15 token/giây.

4. Cấu hình đỉnh cao / Mac Studio / Máy chủ đa GPU

• Đặc điểm phần cứng:
• VRAM/Bộ nhớ thống nhất: 24GB - 64GB+ (ví dụ: RTX 3090x2, 4090, Mac M2/M3 Max/Ultra)
• Lời khuyên: Có thể chạy các mô hình siêu lớn từ 30B đến 70B, khả năng gần như GPT-4.
• Mô hình đề xuất: | Tên mô hình | Số lượng tham số | Phiên bản đề xuất (Ollama Tag) | Đặc điểm | |---|---|---|---| | **Qwen2.5-32B** | 32B | qwen2.5:32b | Một trong những mô hình tiếng Trung mạnh nhất mở nguồn hiện tại | | **DeepSeek-V3 (Distill)** | 67B+ | deepseek-r1:67b | Năng lực suy luận tối đa, cần nhiều VRAM | | **Llama-3.1-70B** | 70B | llama3.1:70b | Tiếng Trung mở nguồn mạnh nhất | | **Mixtral-8x22B** | ~140B | mixtral-8x22b | Ngữ cảnh lớn, thông minh cực kỳ |

Cách cấu hình mô hình đã chọn trong OpenClaw

Giả sử bạn đã chọn Qwen2.5-7B (phù hợp với cấu hình trung bình), các bước thực hiện như sau:

1. Tải mô hình trong Ollama

Mở terminal và chạy:

ollama start qwen2.5:7b

(Sau khi tải xong, nhập /exit để thoát khỏi chế độ thử nghiệm)

2. Cấu hình trong OpenClaw

Chạy lệnh cấu hình:

openclaw setup

Theo hướng dẫn nhập:

• Nhà cung cấp: Chọn ollama hoặc nhập thủ công local.
• URL cơ sở: http://localhost:11434/v1 (địa chỉ mặc định, không nên thay đổi).
• Khóa API: Nhập ollama (một chuỗi ký tự không rỗng tùy ý, Ollama không kiểm tra).
• ID mô hình: Nhập qwen2.5:7b (phải hoàn toàn trùng khớp với nhãn đã tải trong Ollama).

Hoặc chỉnh sửa file ~/.openclaw/openclaw.json thủ công:

{
  "providers": [
    {
      "id": "local-ollama",
      "name": "Ollama Local",
      "baseUrl": "http://localhost:11434/v1",
      "apiKey": "ollama",
      "type": "openai-compatible",
      "models": [
        {
          "id": "qwen2.5:7b",
          "name": "Qwen 2.5 7B",
          "contextWindow": 32768
        }
      ]
    }
  ],
  "defaultProvider": "local-ollama",
  "defaultModel": "qwen2.5:7b"
}

Hướng dẫn tránh bẫy và kỹ thuật tối ưu hóa

1. Không đủ VRAM thì sao?

• Nếu gặp lỗi OOM (Out Of Memory) khi chạy mô hình lớn, hãy thử sử dụng mô hình có số lượng tham số ít hơn (ví dụ: từ 14B xuống 7B).
• Hoặc sử dụng phiên bản lượng hóa: ollama start qwen2.5:7b-q4_0 (lượng hóa Q4 nhanh hơn và nhỏ hơn so với Q4_K_M mặc định, nhưng độ chính xác giảm một chút).

2. Ưu tiên khả năng tiếng Trung

• Nên sử dụng série Qwen2.5 (Trung Quốc Thông Minh). Trong cùng số lượng tham số, nó hiểu rõ hơn tiếng Trung, sử dụng thành ngữ và kiến thức văn hóa hơn Llama 3 và Gemma.
• Nếu viết mã, série DeepSeek hoặc Qwen2.5-Coder là lựa chọn hàng đầu.

3. Lưu ý đặc biệt cho người dùng Mac

• Mac sử dụng bộ nhớ thống nhất. Nếu bạn chỉ có 16GB RAM, hãy dành 4-6GB cho hệ thống, mô hình nên giữ dưới 9B (ví dụ: qwen2.5:7b hoặc llama3.1:8b), nếu không máy tính sẽ trở nên chậm.
• Bộ vi xử lý M1/M2/M3 tối ưu hóa rất tốt cho Ollama, tốc độ chạy mô hình 7B thường nhanh hơn so với GPU NVIDIA cùng cấp.

4. Cách kiểm tra tốc độ?

• Sau khi cấu hình, nhập vào hộp thoại của OpenClaw: "Hãy viết một bài ngắn về mùa xuân, khoảng 200 chữ".
• Quan sát tốc độ sinh ra văn bản. Nếu như đánh máy (nhanh hơn 15 chữ/giây), cấu hình hoàn hảo; nếu gặp sự gián đoạn, hãy thử mô hình nhỏ hơn.

Lời khuyên tổng kết:

• Không chắc chắn chọn mô hình nào? Thử qwen2.5:7b. Đây là lựa chọn linh hoạt, hầu hết các máy tính có VRAM trên 8GB đều có thể chạy và hiệu quả tiếng Trung rất tốt.
• Máy tính chạy chậm? Thử qwen2.5:3b hoặc phi3.5:mini.
• Máy tính mạnh mẽ? Sử dụng qwen2.5:14b hoặc deepseek-r1:14b.