Hướng dẫn kiến trúc và triển khai cụm Apache Kafka
Tổng quan về Apache Kafka
Apache Kafka là một nền tảng phân tán mã nguồn mở được thiết kế để xử lý các luồng dữ liệu theo thời gian thực với tốc độ cao và khả năng mở rộng linh hoạt. Được phát triển ban đầu bằng ngôn ngữ Scala và Java, Kafka giải quyết các vấn đề cốt lõi trong hệ thống phân tán như quản lý dữ liệu hoạt động (Activity Stream), p ...
Đăng vào ngày 23 tháng 6 lúc 06:04
Triển Khai SolrCloud: Xây Dựng Solr Cluster với Solr 4.10.4
Giới thiệu kiến trúc SolrCloud
===============
Cluster ZooKeeper:
a) ZooKeeper cần đảm bảo tính sẵn sàng cao, do đó cần xây dựng cụm;
b) ZooKeeper cần cơ chế bầu cử và bỏ phiếu, tối thiểu cần ba nút;
c) Ba nút ZooKeeper, lưu ý thay đổi các cổng khác nhau
Cluster Solr:
a) Cần bốn nút (máy chủ ứng dụng Solr);
b) Bốn máy Tomcat triển kh ...
Đăng vào ngày 16 tháng 6 lúc 19:13
Triển khai cụm Kafka trên Kubernetes
1. Giới thiệu về Kafka
Kafka là một hệ thống nhật ký phân tán, hỗ trợ nhiều bản sao và người đăng ký, với khả năng phân vùng dựa trên Zookeeper để quản lý. Các tính năng chính của nó bao gồm:
Cung cấp khả năng lưu trữ dữ liệu theo độ phức tạp thời gian O(1), cho phép truy cập hiệu quả ngay cả với lượng dữ liệu lớn hơn TB.
Khả năng xử lý cao. D ...
Đăng vào ngày 9 tháng 6 lúc 17:42
Hướng dẫn cài đặt và sử dụng Kafka cơ bản
Khởi động đơn lẻ
Cài đặt
tar -xzf kafka_2.10-0.10.1.1.tgz
cd kafka_2.10-0.10.1.1
Khởi chạy
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties
Tạo topic
Mở cửa sổ terminal mới:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
...
Đăng vào ngày 7 tháng 6 lúc 21:55
Kiến trúc và Phương thức Triển khai Khóa Phân tán
Tính cấp thiết của Khóa Phân tán
Trong các kiến trúc hệ thống hiện đại, nơi ứng dụng được phân tán trên nhiều máy chủ, việc đồng bộ hóa tài nguyên dùng chung là một thách thức lớn. Khóa phân tán (Distributed Lock) ra đời để giải quyết vấn đề điều kiện tranh chấp (race condition), đảm bảo rằng một phương thức hoặc đoạn mã quan trọng chỉ được th ...
Đăng vào ngày 3 tháng 6 lúc 01:47
ZooKeeper và Etcd: Cài đặt, Cấu hình và Sử dụng Cơ bản
ZooKeeper sử dụng cấu trúc cây để lưu trữ dữ liệu dưới dạng key-value, phù hợp với các ứng dụng yêu cầu tính nhất quán cao (CP – Consistent & Partition-tolerant), chấp nhận đánh đổi tính khả dụng trong một số tình huống như quá trình bầu chọn leader, khi dịch vụ có thể tạm thời unavailable.
Việc cài đặt ZooKeeper không yêu cầu phụ thuộc bên ...
Đăng vào ngày 28 tháng 5 lúc 11:43
Distributed Locking Mechanisms: DB, Redis, and ZooKeeper Comparisons
Understanding Distributed Locking Requirements
In distributed systems, concurrent access to shared resources must be controlled—similar to how locks prevent race conditions in single-process multi-threaded environments. A distributed lock ensures safe coordination across multiple nodes and clients. Ideally, such a mechanism should provide:
...
Đăng vào ngày 26 tháng 5 lúc 10:50
Tích hợp ZooKeeper cho Đăng ký Dịch vụ Cơ bản trong C++
Thiết kế Cơ chế Đăng ký Dịch vụ
Thành phần chính của hệ thống đăng ký dịch vụ sử dụng ZooKeeper là lớp CServiceRegistry kế thừa từ NonCopyable. Lớp này đảm nhiệm việc duy trì kết nối với ZooKeeper và xử lý đăng ký, kiểm tra trạng thái dịch vụ.
Lớp Thông tin Dịch vụ
Định nghĩa cấu trúc thông tin dịch vụ với các trường cần thiết:
<span class ...
Đăng vào ngày 22 tháng 5 lúc 05:03