Cài đặt Hadoop 2.7.2 trên macOS với Homebrew

Môi trường cài đặt:

  • Máy tính: MacBook Air M2 2022
  • Ảo hóa: VMware Fusion 13
  • Hệ điều hành: Ubuntu 22.04

Bước 1: Cập nhật Homebrew

Đầu tiên, cập nhật Homebrew để đảm bảo phiên bản mới nhất:

brew update

Bước 2: Cài đặt JDK 8 (Temurin)

Sử dụng Homebrew để cài đặt OpenJDK 8 từ Adoptium:

brew install --cask temurin@8

Kiểm tra phiên bản Java đã cài đặt:

java -version

Thư mục cài đặt của JDK thường nằm tại:

ls /Library/Java/JavaVirtualMachines/

Bước 3: Tải xuống Hadoop 2.7.2

Tải gói phân phối Hadoop từ Apache Archive:

curl -O https://archive.apache.org/dist/hadoop/core/hadoop-2.7.2/hadoop-2.7.2.tar.gz

Giải nén và di chuyển vào thư mục /usr/local:

tar -xzf hadoop-2.7.2.tar.gz
sudo mv hadoop-2.7.2 /usr/local/hadoop

Bước 4: Thiết lập biến môi trường

Chỉnh sửa file cấu hình shell (~/.zshrc) bằng trình soạn thảo Nano:

nano ~/.zshrc

Thêm các dòng sau vào cuối tệp:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_XXX.jdk/Contents/Home
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

Lưu lại và áp dụng thay đổi:

source ~/.zshrc

Bước 5: Cấu hình Hadoop

Di chuyển đến thư mục cấu hình Hadoop:

cd /usr/local/hadoop/etc/hadoop

1. Cấu hình hadoop-env.sh

Chỉnh sửa tệp hadoop-env.sh:

vim hadoop-env.sh

Cập nhật hoặc thêm dòng sau:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_XXX.jdk/Contents/Home

2. Cấu hình core-site.xml

Soạn nội dung như dưới đây trong core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3. Cấu hình hdfs-site.xml

Soạn nội dung như dưới đây trong hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

4. Cấu hình mapred-site.xml

Tạo file nếu chưa tồn tại:

cp mapred-site.xml.template mapred-site.xml

Sửa nội dung thành:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5. Cấu hình yarn-env.sh

Chỉnh sửa yarn-env.sh:

vim yarn-env.sh

Cập nhật biến JAVA_HOME tương tự như trước đó.

6. Cấu hình yarn-site.xml

Soạn nội dung như dưới đây:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

Bước 6: Phân quyền cho thư mục Hadoop

Cho phép người dùng hiện tại sở hữu toàn bộ thư mục Hadoop:

sudo chown -R $(whoami) /usr/local/hadoop
sudo chmod -R 755 /usr/local/hadoop

Bước 7: Khởi động dịch vụ Hadoop

Khởi động HDFS và YARN:

start-dfs.sh
start-yarn.sh

Kiểm tra hoạt động

Truy cập giao diện web quản lý tài nguyên YARN:

http://localhost:8088

Giao diện quản lý hệ thống HDFS:

http://localhost:50070

Thẻ: hadoop macos homebrew Java jdk8

Đăng vào ngày 28 tháng 9 lúc 02:48

Thẻ Phổ Biến

©2026 Thành phố Cuồng loạn