Cài đặt và Triển khai HBase 2.0

Hướng dẫn này mô tả quy trình cài đặt và triển khai HBase phiên bản 2.0. Trước khi bắt đầu, hãy đảm bảo rằng bạn đã cài đặt thành công ZooKeeper, Kafka và Hadoop.

Kiến trúc hệ thống

Hệ thống được cấu hình trên ba máy chủ: hadoop101, hadoop102 và hadoop103. Cụ thể:

  • HDFS: NameNode trên hadoop101, SecondaryNameNode trên hadoop103. DataNode được triển khai trên cả ba máy chủ.
  • YARN: ResourceManager trên hadoop102. NodeManager được triển khai trên cả ba máy chủ.
  • ZooKeeper: Chạy trên cả ba máy chủ (hadoop101, hadoop102, hadoop103).
  • Kafka: Chạy trên cả ba máy chủ (hadoop101, hadoop102, hadoop103).
  • HBase: HMaster trên hadoop101, HRegionServer trên hadoop102 và hadoop103.

Các bước cài đặt

  1. Tải xuống tệp tarball: Tải xuống phiên bản HBase 2.0.5.
  2. Giải nén tệp:
    tar -zxvf hbase-2.0.5.tar.gz -C /opt/module
  3. Cấu hình biến môi trường:
    # Thiết lập biến môi trường HBASE_HOME
    export HBASE_HOME=/opt/module/hbase-2.0.5
    # Thêm thư mục bin của HBase vào PATH
    export PATH=$PATH:$HBASE_HOME/bin
  4. Cấu hình tệp hbase-env.sh:

    Chỉnh sửa tệp hbase-env.sh trong thư mục conf.

    #!/usr/bin/env bash
    # Chỉ định đường dẫn đến JDK, yêu cầu Java 1.8 trở lên
    export JAVA_HOME=/path/to/your/java # Thay thế bằng đường dẫn JDK thực tế của bạn
    
    # Thêm cấu hình Hadoop vào CLASSPATH của HBase
    export HBASE_CLASSPATH=${HADOOP_HOME}/etc/hadoop/
    
    # Đặt thành 'false' nếu sử dụng một cụm ZooKeeper độc lập
    export HBASE_MANAGES_ZK=false
  5. Cấu hình tệp hbase-site.xml:

    Chỉnh sửa tệp hbase-site.xml trong thư mục conf để định cấu hình các thuộc tính của cụm HBase.

    <configuration>
      <property>
        <name>hbase.master.port</name>
        <value>16000</value> <!-- Cổng cho HBase Master -->
      </property>
      <property>
        <name>hbase.tmp.dir</name>
        <value>/opt/module/hbase-2.0.5/tmp</value> <!-- Thư mục lưu trữ tạm thời của HBase -->
      </property>
      <property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value> <!-- Sai lệch thời gian tối đa cho phép (milliseconds) -->
      </property>
      <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop101:9000/hbase</value> <!-- Thư mục chia sẻ HBase trên HDFS để lưu trữ dữ liệu bền vững -->
      </property>
      <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value> <!-- Đặt thành 'true' để chạy ở chế độ phân tán -->
      </property>
      <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value> <!-- Cổng của ZooKeeper -->
      </property>
      <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop101,hadoop102,hadoop103</value> <!-- Danh sách các máy chủ ZooKeeper -->
      </property>
      <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/opt/module/hbase-2.0.5/tmp/zookeeper</value> <!-- Vị trí lưu trữ snapshot dữ liệu ZooKeeper -->
      </property>
    </configuration>
  6. Cấu hình tệp regionservers:

    Liệt kê tên máy chủ của các RegionServer trong tệp regionservers.

    hadoop101
    hadoop102
    hadoop103

Khởi động dịch vụ

  1. Khởi động ZooKeeper.
  2. Khởi động Kafka.
  3. Khởi động HDFS.
  4. Khởi động YARN.
  5. Khởi động HBase:
    # Để khởi động cụm HBase
    bin/start-hbase.sh
    # Để dừng cụm HBase
    bin/stop-hbase.sh

Sau khi tất cả các tiến trình khởi động thành công, bạn có thể truy cập giao diện web của HBase bằng cách mở trình duyệt và truy cập địa chỉ: http://hadoop101:16010.

Thẻ: hbase hadoop zookeeper kafka nosql

Đăng vào ngày 24 tháng 7 lúc 22:31