Tổng Quan Về Giao Tiếp Trong Hệ Thống Phân Tán

Trong kiến trúc vi dịch vụ hiện đại, việc trao đổi dữ liệu giữa các thành phần không thể dựa hoàn toàn vào mô hình gọi-rõ-từ-trực tiếp (synchronous request-response). Thay vào đó, cơ chế Event-Driven Architecture (Kiến trúc hướng sự kiện) đang trở thành tiêu chuẩn. Các dịch vụ như đơn hàng, kho vận hay thanh toán hoạt động độc lập, giao tiếp thông qua luồng dữ liệu bất đồng bộ để đảm bảo tính rời rạc và khả năng mở rộng.

Apache Kafka đóng vai trò trung tâm trong hạ tầng này, cung cấp khả năng xử lý luồng dữ liệu lớn với độ trễ thấp và tính sẵn sàng cao. Khi kết hợp cùng Spring Boot, nhà phát triển tận dụng được lợi thế của thư viện spring-kafka để quản lý vòng đời kết nối, tự động hóa cấu hình và giảm thiểu lỗi thường gặp trong quá trình triển khai thực tế.

Cài Đặt Khởi Động

Mọi quy trình tích hợp bắt đầu bằng việc khai báo thư viện cần thiết trong file định nghĩa dự án (như pom.xml hoặc build.gradle). Việc sử dụng Starter sẽ kích hoạt các cơ chế cấu hình mặc định (auto-configuration) cần thiết.

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-kafka</artifactId>
</dependency>

Lệnh trên sẽ tự động đăng ký Bean cho:

• Hệ thống lắng nghe sự kiện (@KafkaListener).
• Đối tượng gửi tin nhắn (KafkaTemplate mặc định).
• Các factory cấu hình Producer và Consumer.
• Các điểm quan trắc (health check) thông qua Actuator.

Nếu sử dụng Gradle, cấu hình tương đương như sau:

implementation 'org.springframework.boot:spring-boot-starter-kafka'

Cấu Hình Kết Nối Với Cluster

Dữ liệu cấu hình cần được đặt trong file application.yml. Trọng tâm là xác định địa chỉ các Broker khởi động (bootstrap-servers) và phương thức chuyển đổi dữ liệu (serialization/deserialization).

spring:
  kafka:
    bootstrap-servers: broker-internal:9092,broker-replica:9093
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
    consumer:
      group-id: logistics-service-group
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.springframework.kafka.support.serializer.JsonDeserializer

Gửi Tin Nhắn Không Đồng Bộ

Sử dụng KafkaTemplate giúp gửi dữ liệu ra chủ đề (topic) một cách thuận tiện. Thao tác gửi thường là bất đồng bộ, nghĩa là hàm trả về ngay khi nhận dữ liệu vào buffer, trước khi nhận được xác nhận từ Kafka.

@Component
public class NotificationDispatcher {

    @Autowired
    private KafkaTemplate kafkaTemplate;

    public void dispatchEvent(String topic, String payload) {
        kafkaTemplate.send(topic, "KEY_" + payload);
    }
}

Để kiểm tra trạng thái gửi thành công, ta có thể gắn thêm callback hoặc chờ kết quả trả về.

ListenableFuture<SendResult<String, String>> future = 
    kafkaTemplate.send("notification-topic", "PAYLOAD_DATA");

future.addCallback(
    result -> System.out.println("Tin gửi thành công tại partition: " 
        + result.getRecordMetadata().partition()),
    ex -> System.err.println("Lỗi gửi tin: " + ex.getMessage())
);

Quyết Định Độ Tin Cậy Của Dữ Liệu

Thông thường, cấu hình mặc định không đủ đảm bảo tính toàn vẹn dữ liệu trong môi trường sản xuất. Nhà phát triển cần tùy chỉnh các tham số cốt lõi sau:

Quản Lý Nhóm Tiêu Thụ (Consumer)

Việc sử dụng nhóm người dùng (group-id) giúp phân chia tải giữa nhiều phiên bản ứng dụng. Một vấn đề phổ biến là tự động cam kết offset (enable-auto-commit). Mặc định là bật, nhưng điều này gây rủi ro mất tin nếu hệ thống sập ngay sau khi commit nhưng chưa xử lý xong dữ liệu.

consumer:
  group-id: order-group-v1
  enable-auto-commit: false
  fetch-max-wait: 500

Để khắc phục, ta nên tắt auto-commit và thực hiện thủ công (Manual Acknowledge) ngay sau khi xử lý thành công trong Listener.

Xử Lý Lỗi Và Hàng Chờ Chứa (DLQ)

Khi một bản tin bị lỗi lặp đi lặp lại (ví dụ: lỗi dữ liệu định dạng, không khớp schema), nó sẽ làm tắc nghẽn luồng xử lý. Cơ chế Dead Letter Queue (DLQ) sẽ lưu trữ các bản tin thất bại để xử lý sau.

@Configuration
public class KafkaErrorHandlerConfig {

    @Bean
    public ConcurrentKafkaListenerContainerFactory errorHandlingFactory() {
        ConcurrentKafkaListenerContainerFactory factory = 
            new ConcurrentKafkaListenerContainerFactory<>();
        
        // Cấu hình container custom
        factory.setConsumerFactory(consumerFactory());
        factory.setErrorHandler(new SeekToCurrentErrorHandler(
            new DeadLetterPublishingRecoverer(kafkaTemplate()), // Gửi sang DLQ
            3 // Số lần thử lại tối đa
        ));
        
        return factory;
    }
}

Một khi vượt quá giới hạn重试, bản tin sẽ được đẩy sang topic riêng, ví dụ: orders.DLT.

Đảm Bảo Nhất Quán Dữ Liệu (Data Consistency)

Một thách thức lớn là đảm bảo dữ liệu trong Database và nội dung tin nhắn Kafka luôn đồng bộ. Có hai phương pháp chính để giải quyết bài toán giao dịch phân tán này:

Phương pháp 1: Giao dịch Hỗ trợ bởi Kafka

Kafka hỗ trợ giao dịch (Transactions) bắt đầu từ phiên bản 0.11. Bạn có thể gộp việc ghi DB và gửi tin vào cùng một khối giao dịch.

@Configuration
public class TransactionConfig {

    @Bean
    public KafkaTransactionManager txManager(ProducerFactory pf) {
        return new KafkaTransactionManager<>(pf);
    }

    @Bean
    public PlatformTransactionManager globalTxManager(JpaTransactionManager jpa, KafkaTransactionManager kaf) {
        return new ChainedKafkaTransactionManager(jpa, kaf);
    }
}

@Transactional
public void createNewOrder(OrderDetails order) {
    orderRepo.save(order);
    template.send("orders", order.toMessage());
}

Phương pháp 2: Mô Hình Bàn Vượt (Outbox Pattern)

Trong trường hợp không thể sử dụng giao dịch phân tán trực tiếp, hãy lưu yêu cầu gửi tin vào một bảng cục bộ trong DB cùng lúc với việc tạo đơn. Sau đó, một tiến trình Background Task sẽ đọc từ bảng này và gửi tin lên Kafka.

Giám Sát Và Quan Sát (Observability)

Không có hệ thống nào đáng tin cậy nếu không có mắt thần để quan sát. Spring Boot Actuator tích hợp sẵn khả năng thu thập chỉ số (metrics).

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>

Expose các metric qua endpoint Prometheus:

management:
  endpoints:
    web:
      exposure:
        include: health,info,prometheus

Các chỉ số quan trọng cần theo dõi bao gồm:

• kafka.consumer.records-lag: Số lượng tin chưa được tiêu thụ.
• kafka.producer.batch-size-avg: Kích thước batch trung bình gửi đi.
• kafka.consumer.rebalance-count: Tần suất tái cân bằng nhóm.

Kiến Trúc SAGA Trong Giao Dịch

Đối với các quy trình kinh doanh phức tạp trải qua nhiều dịch vụ (ví dụ: Tạo đơn -> Trừ kho -> Thanh toán), SAGA Pattern cung cấp giải pháp thay thế cho giao dịch phân tán XA nặng nề. Mỗi bước là một giao dịch cục bộ. Nếu bước sau thất bại, bước trước đó sẽ được hoàn tác (Compensating Transaction).

Sequence Flow:
1. User -> CreateOrderService: Yêu cầu
2. Service A: Tạo Đơn (Commit)
3. Service A -> Service B: ReserveStock
4. Service B: Trừ Kho (Fail)
5. Service A -> Service B: CancelStock (Rollback)
6. Service A: Cập nhật Đơn trạng thái失敗

Mỗi hành động thành công sẽ phát sự kiện kích hoạt bước tiếp theo, ngược lại sẽ kích hoạt sự kiện bù trừ.