Triển khai Debezium

Có ba cách chính để triển khai Debezium: **Kafka Connect**, **Debezium Server** và **Embedded Engine**. Mỗi cách có ứng dụng cho các trường hợp khác nhau, dưới đây là chi tiết và ví dụ:

I. Kafka Connect (Phổ biến nhất)

Ứng dụng: Tích hợp với hệ sinh thái Kafka, xây dựng đường ống dữ liệu thời gian thực phân tán và cao khả năng.

Cách hoạt động: Debezium hoạt động như một Source Connector trong Kafka Connect, gửi sự kiện thay đổi từ cơ sở dữ liệu đến Kafka Topic, sau đó dữ liệu được chuyển đến hệ thống khác thông qua Sink Connector (ví dụ: JDBC Sink).

Bước triển khai:

1. Chuẩn bị môi trường
   • Cài đặt Java 8+ và Kafka Cluster.
   • Tải xuống connector Debezium (ví dụ: `debezium-connector-mysql`).
2. Cấu hình Kafka Connect

   bootstrap.servers=kafka:9092
   plugin.path=/path/to/debezium-connectors
   

3. Đăng ký Debezium Connector

   {
     "name": "mysql-connector",
     "config": {
       "connector.class": "io.debezium.connector.mysql.MySqlConnector",
       "database.hostname": "mysql",
       "database.port": "3306",
       "database.user": "debezium",
       "database.password": "password",
       "database.server.id": "184054",
       "database.server.name": "dbserver1",
       "database.whitelist": "inventory",
       "database.history.kafka.bootstrap.servers": "kafka:9092",
       "database.history.kafka.topic": "schema-changes.inventory"
     }
   }
   

   curl -X POST -H "Content-Type: application/json" --data @mysql-source.json http://kafka-connect:8083/connectors
   

4. Kiểm tra luồng dữ liệu

   kafka-console-consumer --bootstrap-server kafka:9092 --topic dbserver1.inventory.products --from-beginning
   

   Thực hiện các thao tác INSERT/UPDATE/DELETE trên bảng MySQL và kiểm tra xem người tiêu dùng có cập nhật dữ liệu theo thời gian thực không.

Lợi ích: - Sử dụng tính năng phân tán của Kafka, hỗ trợ mở rộng ngang. - Tích hợp liền mạch với hệ sinh thái Kafka Connect (như Sink Connector, Schema Registry).

Thách thức: - Cần quản lý Kafka Cluster, phức tạp hơn.

II. Debezium Server

Ứng dụng: Đồng bộ hóa dữ liệu thay đổi trực tiếp đến hệ thống không phải Kafka (ví dụ: AWS Kinesis, Google Cloud Pub/Sub).

Cách hoạt động: Debezium Server là một ứng dụng Java độc lập, tích hợp nhiều plugin đầu ra, không cần phụ thuộc vào Kafka Connect.

Bước triển khai:

1. Tải Debezium Server

   Tải gói nén từ trang web Debezium (ví dụ: `debezium-server-1.9.7.Final.tar.gz`).

2. Cấu hình mục tiêu đầu ra

   debezium.sink.type=kafka
   debezium.sink.kafka.bootstrap.servers=kafka:9092
   debezium.sink.kafka.topic.prefix=dbserver1
   

3. Cấu hình kết nối cơ sở dữ liệu

   database.hostname=mysql
   database.port=3306
   database.user=debezium
   database.password=password
   database.server.name=dbserver1
   

4. Khởi động Debezium Server

   ./run.sh
   

Lợi ích: - Triển khai đơn giản, không cần Kafka Connect Cluster. - Hỗ trợ nhiều mục tiêu đầu ra (Kafka, Kinesis, Pub/Sub, v.v.).

Thách thức: - Khả năng mở rộng hạn chế, phù hợp cho các trường hợp nhẹ.

III. Embedded Engine

Ứng dụng: Nhúng Debezium vào ứng dụng Java tùy chỉnh để bắt sự thay đổi với độ trễ thấp.

Cách hoạt động: Debezium cung cấp API nhúng, cho phép tạo và quản lý engine CDC trực tiếp trong ứng dụng.

Bước triển khai:

1. Thêm dependency Maven

   <dependency>
     <groupId>io.debezium</groupId>
     <artifactId>debezium-embedded</artifactId>
     <version>1.9.7.Final</version>
   </dependency>
   <dependency>
     <groupId>io.debezium</groupId>
     <artifactId>debezium-connector-mysql</artifactId>
     <version>1.9.7.Final</version>
   </dependency>
   

2. Viết mã CDC nhúng

   import io.debezium.engine.DebeziumEngine;
   import io.debezium.engine.format.Json;
   
   public class EmbeddedDebeziumExample {
       public static void main(String[] args) {
           Configuration config = Configuration.create()
               .with("name", "mysql-engine")
               .with("connector.class", "io.debezium.connector.mysql.MySqlConnector")
               .with("database.hostname", "mysql")
               .with("database.port", "3306")
               .with("database.user", "debezium")
               .with("database.password", "password")
               .with("database.server.id", "184054")
               .with("database.server.name", "dbserver1")
               .with("database.whitelist", "inventory")
               .build();
   
           try (DebeziumEngine<ChangeEvent<String, String>> engine = DebeziumEngine.create(Json.class)
                   .using(config)
                   .notifying(record -> {
                       System.out.println("Received change event: " + record.value());
                   })
                   .build()) {
               engine.run();
           }
       }
   }
   

3. Chạy ứng dụng

   Sau khi khởi chạy ứng dụng, thực hiện các thao tác thay đổi trên bảng MySQL và quan sát output trên console.

Lợi ích: - Kiểm soát hoàn toàn logic CDC, phù hợp cho yêu cầu tùy chỉnh. - Độ trễ thấp, không cần middleware.

Thách thức: - Cần tự xử lý phục hồi lỗi và khả năng mở rộng.

IV. So sánh và Đề xuất Cách Triển Khai

Đề xuất: - **Các trường hợp doanh nghiệp:** Chọn Kafka Connect, tận dụng khả năng phân tán và lợi ích của hệ sinh thái Kafka. - **Các trường hợp cloud-native hoặc nhẹ:** Chọn Debezium Server, đơn giản hóa quy trình triển khai. - **Các trường hợp hiệu suất tùy chỉnh:** Chọn Embedded Engine, kiểm soát chi tiết.