Spark Streaming với Kafka 1.0.1: Quản lý Offset trực tiếp vào HBase
Trong kiến trúc xử lý luồng thời gian thực, việc đảm bảo tính nhất quán và khả năng khôi phục sau sự cố phụ thuộc rất lớn vào cơ chế quản lý offset một cách đáng tin cậy. Bài viết này trình bày cách tích hợp Spark Streaming (phiên bản tương thích với Kafka 1.0.1) theo mô hình Direct Stream, đồng thời lưu trữ và truy vấn offset từ HBase — thay v ...
Đăng vào ngày 27 tháng 6 lúc 07:07