Iggy là nền tảng truyền thông tin liên tục hiệu suất cao được viết bằng Rust, hỗ trợ các giao thức truyền tải QUIC, TCP và HTTP, có khả năng xử lý hàng triệu tin nhắn mỗi giây. Trong các trường hợp xử lý dữ liệu thời gian thực và luồng, việc loại bỏ tin nhắn trùng lặp và chiến lược giữ lại tin nhắn là những kỹ thuật quan trọng đảm bảo tính tin cậy và ổn định của hệ thống. Bài viết này sẽ phân tích chi tiết về cơ chế loại bỏ tin nhắn và chiến lược giữ lại tin nhắn của Iggy, giúp bạn xây dựng hệ thống xử lý dữ liệu đáng tin cậy hơn.

Tại sao cần tính năng loại bỏ và giữ lại tin nhắn?

Trong hệ thống tin nhắn phân tán, tin nhắn trùng lặp và dữ liệu tăng không giới hạn là hai vấn đề phổ biến. Tin nhắn trùng lặp có thể dẫn đến:

• Không nhất quán trong dữ liệu
• Tốn tài nguyên do xử lý trùng lặp
• Lỗi trong logic kinh doanh

Còn dữ liệu tăng không giới hạn sẽ gây ra:

• Chi phí lưu trữ tăng nhanh
• Hiệu suất truy vấn giảm
• Khó khăn trong việc duy trì hệ thống

Iggy giải quyết các vấn đề này thông qua tính năng loại bỏ tin nhắn thông minh và chiến lược giữ lại linh hoạt.

Cơ chế loại bỏ tin nhắn trong Iggy

Chức năng loại bỏ tin nhắn của Iggy nằm trong core/common/src/deduplication/message_deduplicator.rs, sử dụng thư viện bộ đệm Moka hiệu suất cao. Cấu hình loại bỏ tin nhắn được đặt trong core/server/config.toml:

[system.message_deduplication]
enabled = false
max_entries = 10000
expiry = "1 m"

Đặc điểm chính

1. Loại bỏ dựa trên ID tin nhắn: Mỗi tin nhắn có một định danh duy nhất, hệ thống sẽ kiểm tra xem ID đã tồn tại chưa.
2. Kích thước bộ đệm có thể cấu hình: Điều khiển số mục tối đa trong bộ đệm thông qua max_entries.
3. Hạn chế thời gian tồn tại: Đặt thời gian tồn tại của ID trong bộ đệm thông qua expiry.
4. Hiệu quả về bộ nhớ: Sử dụng cấu trúc bộ đệm an toàn cho nhiều luồng, tránh rò rỉ bộ nhớ.

Ví dụ sử dụng

let deduplicator = MessageDeduplicator::new(Some(1000), Some(Duration::from_secs(1)));
let message_id = 12345u128;

// Kiểm tra xem tin nhắn có bị trùng lặp không
if deduplicator.exists(message_id) {
    println!("Tin nhắn đã tồn tại, bỏ qua xử lý");
} else {
    // Thêm ID tin nhắn mới
    deduplicator.insert(message_id).await;
    println!("Xử lý tin nhắn mới");
}

Cấu hình chiến lược giữ lại tin nhắn

Chiến lược giữ lại tin nhắn của Iggy được cấu hình trong core/server/config.toml:

[system.segment]
# Chiến lược giữ lại segment (chuỗi).
# Các giá trị có thể:
# 1. Dựa trên kích thước: xóa segment khi tổng kích thước vượt quá segment_retention_size
# 2. Dựa trên thời gian: xóa segment cũ hơn message_expiry
retention_policy = "size"

# Kích thước tối đa của tất cả segment trong mỗi partition (chuỗi).
segment_retention_size = "10 GiB"

# Thời gian hết hạn tin nhắn cho chiến lược dựa trên thời gian (chuỗi).
# Ví dụ: "7d" (7 ngày), "24h" (24 giờ), "none" (không hết hạn).
message_expiry = "none"

Hai chiến lược giữ lại

1. Chiến lược dựa trên kích thước:

• Khi tổng kích thước của tất cả segment trong một partition vượt quá segment_retention_size
• Hệ thống sẽ tự động xóa segment cũ nhất
• Phù hợp với môi trường có không gian lưu trữ hạn chế

2. Chiến lược dựa trên thời gian:

• Khi thời gian tồn tại của tin nhắn vượt quá message_expiry
• Hệ thống sẽ tự động dọn dẹp tin nhắn hết hạn
• Phù hợp với các trường hợp yêu cầu tính thời hạn của dữ liệu

Cơ chế duy trì và dọn dẹp dữ liệu

Iggy cung cấp chức năng duy trì dữ liệu tự động, cấu hình trong core/server/config.toml:

[data_maintenance.messages]
cleaner_enabled = false
interval = "1 m"

Chức năng chính

1. Dọn dẹp tin nhắn hết hạn: Quét và xóa tin nhắn hết hạn theo định kỳ
2. Khoảng thời gian dọn dẹp có thể cấu hình: Điều khiển tần suất dọn dẹp thông qua interval
3. Tối ưu hóa tài nguyên: Tự động thu hồi không gian đĩa, cải thiện hiệu suất hệ thống

Đề xuất tối ưu hiệu suất

1. Cấu hình tham số loại bỏ hợp lý

• Đặt max_entries theo nhu cầu kinh doanh, tránh tràn bộ nhớ
• Điều chỉnh thời gian expiry theo tần suất tin nhắn
• Theo dõi tỷ lệ trúng bộ đệm, tối ưu hóa cấu hình

2. Chọn chiến lược giữ lại phù hợp

• Đối với dữ liệu nhật ký: sử dụng chiến lược dựa trên thời gian
• Đối với dữ liệu giao dịch: sử dụng chiến lược dựa trên kích thước
• Kết hợp nhu cầu kinh doanh để đặt thời gian hết hạn hợp lý

3. Giám sát và điều chỉnh

• Kiểm tra kích thước và số lượng segment định kỳ
• Giám sát sử dụng đĩa
• Điều chỉnh cấu hình theo sự tăng trưởng của kinh doanh

Ứng dụng thực tế

Trường hợp 1: Hệ thống giao dịch tài chính

• Sử dụng loại bỏ tin nhắn để ngăn chặn giao dịch trùng lặp
• Đặt thời gian giữ lại 7 ngày để đáp ứng yêu cầu tuân thủ
• Sử dụng chiến lược dựa trên kích thước để kiểm soát chi phí lưu trữ

Trường hợp 2: Thu thập dữ liệu IoT

• Thiết bị có thể gửi dữ liệu trùng lặp, cần loại bỏ
• Sử dụng chiến lược dựa trên thời gian, giữ 30 ngày dữ liệu
• Dọn dẹp dữ liệu hết hạn định kỳ, giải phóng không gian lưu trữ

Trường hợp 3: Hệ thống giám sát thời gian thực

• Xử lý cảnh báo trùng lặp
• Chiến lược giữ lại ngắn hạn (24 giờ)
• Dọn dẹp thường xuyên để đảm bảo hiệu suất hệ thống

Thực hành tốt nhất

1. Điều chỉnh cấu hình từ từ

• Bắt đầu với cấu hình bảo thủ, dần dần tối ưu hóa
• Theo dõi chỉ số hiệu suất hệ thống
• Điều chỉnh tham số theo tải thực tế

2. Kiểm tra trong môi trường thử nghiệm

• Kiểm tra đầy đủ trước khi triển khai vào môi trường sản xuất
• Mô phỏng tình huống tải cao để xác minh cấu hình
• Đảm bảo tính nhất quán và hoàn chỉnh của dữ liệu

3. Đánh giá chiến lược định kỳ

• Đánh giá lại chiến lược giữ lại mỗi quý
• Điều chỉnh cấu hình theo sự thay đổi của kinh doanh
• Tối ưu hóa hiệu suất sử dụng tài nguyên