Thành phố Cuồng loạn

Trong quá trình phát triển dự án, đã xuất hiện nhiều tình huống cần sử dụng kho NPM riêng tư, ví dụ như logic chung sau khi chia nhỏ dự án, thư viện thành phần chung, SDK theo dõi sự kiện được đóng gói của chúng ta. Những đoạn mã này không tiện để công khai lên kho NPM chính thức và chỉ có thể được đăng tải lên kho riêng của công ty. Vì vậy, ch ...

Để triển khai nhanh môi trường HDFS cục bộ nhằm kiểm thử và học tập, bài viết này hướng dẫn cài đặt Hadoop 3.2.1 trên hệ điều hành macOS — không yêu cầu cấu hình cụm phân tán hay máy ảo. 1. Tải và giải nén gói cài đặt Tải bản binary của Hadoop 3.2.1 từ trang chủ: https://hadoop.apache.org/releases.html. Sau khi tải xong, giải nén vào thư mục l ...

1. Vấn đề phát sinh HDFS không phải là giải pháp tối ưu cho việc lưu trữ các tệp tin có kích thước nhỏ. Lý do là mỗi tệp tin, dù nhỏ, cũng chiếm ít nhất một block, và thông tin metadata của mỗi block đều được lưu trong bộ nhớ của NameNode. Khi số lượng tệp tin nhỏ tăng lên, bộ nhớ NameNode sẽ bị tiêu tốn đáng kể. Dưới đây là mô phỏng một kịch b ...

Hadoop về Khái niệm Big Data Không thể xử lý dữ liệu bằng một máy tính duy nhất Trọng tâm của Big Data là mẫu = tổng thể Đặc tính Big Data Lượng lớn (Volume): Trong Big Data, kích thước của một tệp tin riêng lẻ thường từ vài chục đến vài trăm GB trở lên Tốc độ (Velocity): Phản ánh tốc độ tạo ra dữ liệu và tần suất thay đổi dữ liệu Đa dạng (V ...

Quy trình phát triển Lấy một môi trường thực thi (execution environment) Tải/ tạo dữ liệu ban đầu Xác định các phép biến đổi dữ liệu Chỉ định nơi lưu trữ kết quả tính toán Kích hoạt thực thi chương trình Ví dụ đếm từ (Word Count) object TextFrequencyAnalyzer { def main(args: Array[String]): Unit = { // Khởi tạo môi ...

Hướng dẫn dưới đây trình bày quy trình thiết lập hệ thống CDH (Cloudera Distribution Hadoop) ở chế độ phân tán giả lập (pseudo-distributed). Yêu cầu cơ bản bao gồm máy chủ đã cài đặt sẵn môi trường chạy Java và dịch vụ SSH. 1. Tải về và Giải nén Thư mục Tìm kiếm gói cài đặt tương ứng với phiên bản 2.6.0 của Hadoop từ dòng sản phẩm CDH 5.9.0. S ...