Lý do Tự động Hóa Xử lý Dữ liệu

Quá trình làm sạch dữ liệu thủ công tốn nhiều thời gian và dễ xảy ra lỗi. Giải pháp kết hợp OpenClaw và ollama-QwQ-32B tự động hóa các tác vụ như chuẩn hóa định dạng, phát hiện ngoại lai, và bổ sung thông tin, giảm đáng kể thời gian xử lý.

Thiết lập Môi trường và Kết nối Mô hình

Triển khai ollama-QwQ-32B

Triển khai mô hình cục bộ qua Docker:

docker run -d -p 11434:11434 --name qwq_model ollama/qwq-32b

Kiểm tra hoạt động:

curl http://localhost:11434/api/generate -d '{
  "model": "qwq-32b",
  "prompt": "Test connection"
}'

Cấu hình OpenClaw

Cập nhật file cấu hình openclaw.json:

{
  "models": {
    "providers": {
      "local": {
        "baseUrl": "http://localhost:11434",
        "api": "openai-completions",
        "models": [{"id": "qwq-32b"}]
      }
    }
  }
}

Xác minh kết nối:

openclaw model verify qwq-32b

Xây dựng Quy trình Tự động

Chuẩn hóa Định dạng Ngày tháng

Xử lý các định dạng ngày không đồng nhất:

// normalize_dates.js
module.exports = {
  name: "date-standardizer",
  run: async (task) => {
    const workbook = await openclaw.excel.load(task.filePath);
    const sheet = workbook.activeSheet;
    const data = sheet.usedRange.values;
    
    const response = await openclaw.models.ask(
      `Xác định cột chứa ngày tháng: ${data}`,
      { model: "qwq-32b" }
    );
    
    sheet.getColumn(response.index).format = "YYYY-MM-DD";
    await workbook.save();
  }
}

Kích hoạt bằng lệnh: "Chuẩn hóa cột ngày trong báo cáo"

Phát hiện Giá trị Bất thường

Nhận diện điểm dữ liệu ngoại lai sử dụng Z-score:

openclaw skill add outlier-detector --type=script --file=detect_outliers.py

Kích hoạt: "Kiểm tra dữ liệu bán hàng Q2, ngưỡng 3 độ lệch chuẩn"

Bổ sung Thông tin Thiếu

Tự động điền thông tin công ty:

@skill(description="Bổ sung ngành và khu vực theo tên công ty")
def enrich_company_data(job):
    companies = excel.getColumn("Company").values;
    for company in companies:
        search_query = openclaw.models.ask(
          `Tạo từ khóa tìm kiếm cho '${company}'`, 
          model="qwq-32b"
        )
        company_info = openclaw.web.search(search_query).extract();
        excel.updateRow(company_info);

Tối ưu Hóa và Giải pháp Xử lý Sự cố

Kiểm soát Token
- Phân tích mẫu 50 dòng đầu
- Xử lý hàng loạt các lỗi tương tự
- Thiết lập max_tokens=500

Nâng cao ổn định Excel
1. Tạo bản sao filename_processed.xlsx
2. Thực thi thao tác trên bản sao
3. So sánh khác biệt sau xử lý

Hiệu chỉnh Mô hình
Kích hoạt xác nhận an toàn:

openclaw config set confirm_actions=true