Học PyFlink từ cơ bản - Sử dụng hàm Map và Reduce để đếm từ
Trong nhiều ví dụ về xử lý dữ liệu lớn, việc đếm từ thường được sử dụng làm ví dụ khởi đầu. Bài viết này cũng không ngoại lệ, lấy ví dụ từ hướng dẫn Table API của PyFlink, chúng ta sẽ học cách đếm số lần xuất hiện của các từ khác nhau thông qua nhiều phương pháp khác nhau để đạt được hiệu quả học tập từng bước. Phương pháp thông thường
# input. ...
Đăng vào ngày 7 tháng 6 lúc 04:15
Giải Lỗi PySparkRuntimeError: JAVA_GATEWAY_EXITED Trong PySpark
PySparkRuntimeError: [JAVA_GATEWAY_EXITED] Java gateway process exited before sending its port number - Lỗi này thường xuất phát từ các vấn đề về cấu trúc môi trường và sự tương thích phiên bản giữa Java, Python, Spark và PySpark.
Tương thích Phiên bản
Trước khi bắt đầu cấu hình môi trường, bạn nên kiểm tra sự tương thích giữa các thành phần. ...
Đăng vào ngày 4 tháng 6 lúc 00:25
Mạng Neural trong Spark MLlib: Từ Nguyên lý đến Thực thi
Kiến thức nền tảng về mạng neural
1.1 Đơn vị xử lý thần kinh (Neuron)
Mạng neural (Neural Network) được cấu tạo từ nhiều đơn vị xử lý thần kinh kết nối với nhau. Neuron là thành phần cơ bản nhất của mạng neural, và toàn bộ mạng được xây dựng từ nhiều neuron. Cấu trúc của một neuron như sau:
Trong đó, x₁, x₂, x₃ và 1 là các đầu vào, hw,b(x) là ...
Đăng vào ngày 24 tháng 5 lúc 15:33
Xử lý Dữ liệu Lớn với Temporal Python SDK: Công cụ Xác thực Dữ liệu
Xử lý Dữ liệu Lớn với Temporal Python SDK: Công cụ Xác thực Dữ liệu
Thư viện Temporal Python SDK cung cấp giải pháp toàn diện cho việc xác thực dữ liệu trong các hệ thống phân tán. Bài viết này sẽ phân tích cách tích hợp Pydantic vào Temporal để tự động hóa quy trình kiểm tra tính hợp lệ của dữ liệu, giải quyết các vấn đề về tính nhất quán kiểu ...
Đăng vào ngày 24 tháng 5 lúc 02:39