Apache Flume là framework chuyên biệt cho việc di chuyển dữ liệu log quy mô lớn, được phát triển bởi Cloudera. Nền tảng này tối ưu hóa quá trình thu thập, tổng hợp và chuyển tiếp luồng dữ liệu từ nhiều nguồn khác nhau về hệ thống lưu trữ tập trung.

Nguyên lý hoạt động cốt lõi

Flume xây dựng trên mô hình agent-based với ba thành phần chính:

• Source: Tiếp nhận dữ liệu đầu vào từ các hệ thống bên ngoài
• Channel: Đệm tạm thời đảm bảo tính toàn vẹn khi truyền tải
• Sink: Đẩy dữ liệu đến đích cuối như HDFS, Kafka hoặc Elasticsearch

Cơ chế transaction-based giúp Flume đảm bảo at-least-once delivery, tự động retry khi gặp lỗi mạng hoặc node down.

Thiết lập môi trường phát triển

Yêu cầu tiên quyết

# Kiểm tra phiên bản Java
java -version  # Yêu cầu JDK 8 trở lên

# Xác nhận Maven đã cài đặt
mvn -v

Biên dịch từ mã nguồn

# Sao chép repository
git clone https://github.com/apache/flume.git
cd flume

# Biên dịch toàn bộ module
mvn clean install -DskipTests

# Gói phân phối sẽ được tạo tại:
# flume-ng-dist/target/apache-flume-*.tar.gz

Cấu hình Agent cơ bản

Tạo file agent.properties với cấu trúc sau:

# Định nghĩa các thành phần
agent.sources = src1
agent.channels = ch1
agent.sinks = sk1

# Cấu hình Source nhận log từ cổng TCP
agent.sources.src1.type = netcat
agent.sources.src1.bind = 0.0.0.0
agent.sources.src1.port = 44444
agent.sources.src1.channels = ch1

# Channel sử dụng bộ nhớ với dung lượng giới hạn
agent.channels.ch1.type = memory
agent.channels.ch1.capacity = 10000
agent.channels.ch1.transactionCapacity = 1000

# Sink ghi ra console để kiểm tra
agent.sinks.sk1.type = logger
agent.sinks.sk1.channel = ch1

Khởi động và kiểm tra

# Chạy agent với file cấu hình vừa tạo
bin/flume-ng agent \
  --name agent \
  --conf conf \
  --conf-file agent.properties \
  -Dflume.root.logger=INFO,console

# Test kết nối từ terminal khác
telnet localhost 44444
> Hello Flume

Mô hình triển khai thực tế

Multi-hop architecture cho hệ thống phân tán:

┌─────────┐    ┌─────────┐    ┌─────────┐
│  App    │───▶│ Agent 1 │───▶│ Agent 2 │───▶ HDFS
│ Servers │    │ (Edge)  │    │ (Collector) │
└─────────┘    └─────────┘    └─────────┘

Edge agents chạy gần nguồn dữ liệu, collector agents tập trung xử lý và lưu trữ. Thiết kế này giảm tải cho mạng backbone và tăng khả năng chịu lỗi.

Tùy chỉnh Interceptor

Thêm xử lý dữ liệu giữa Source và Channel:

# Thêm timestamp vào event
agent.sources.src1.interceptors = i1
agent.sources.src1.interceptors.i1.type = timestamp

# Lọc event dựa trên nội dung
agent.sources.src1.interceptors.i2.type = regex_filter
agent.sources.src1.interceptors.i2.regex = ERROR|WARN
agent.sources.src1.interceptors.i2.excludeEvents = false

Giám sát và vận hành

Flume cung cấp JMX metrics và HTTP endpoint để theo dõi:

# Kích hoạt monitoring
-Dflume.monitoring.type=http
-Dflume.monitoring.port=34545

# Truy cập metrics
curl http://localhost:34545/metrics

Các chỉ số quan trọng cần theo dõi: ChannelFillPercentage, ConnectionFailedCount, EventDrainSuccessCount.

Kịch bản ứng dụng điển hình

Với thiết kế plugin-based, Flume cho phép mở rộng bằng cách implement custom Source, Sink và Channel theo nhu cầu đặc thù của từng tổ chức.