Tổng Kết Tài Liệu Thực Hiện Ứng Dụng AI Quy Mô Lớn Bằng LangChain

Phần I: Tư Duy Tổng Thể Với văn bản dài vượt quá giới hạn token của mô hình ngôn ngữ lớn (LLM), cần thiết kế một pipeline **map-reduce** để chia nhỏ, tóm tắt từng phần và tổng hợp: Tải nội dung trang web. Chia thành các chunk có kích thước kiểm soát được. Tóm tắt ban đầu cho mỗi chunk (map). Tổng hợp tất cả các tóm tắt ban đầu (reduce). Nếu ...

Đăng vào ngày 31 tháng 5 lúc 16:31

Tạo dữ liệu phân loại bằng make_classification trong scikit-learn

Hàm make_classification nằm trong module sklearn.datasets của thư viện scikit-learn, được sử dụng để tạo ra các bộ dữ liệu mẫu phục vụ cho bài toán phân loại. Dữ liệu sinh ra là giả lập, phù hợp để kiểm thử mô hình học máy, so sánh hiệu suất giữa các thuật toán hoặc minh họa các khái niệm trong học có giám sát. Tham số chính Dưới đây là các th ...

Đăng vào ngày 26 tháng 5 lúc 02:42

Mạng Neural trong Spark MLlib: Từ Nguyên lý đến Thực thi

Kiến thức nền tảng về mạng neural 1.1 Đơn vị xử lý thần kinh (Neuron) Mạng neural (Neural Network) được cấu tạo từ nhiều đơn vị xử lý thần kinh kết nối với nhau. Neuron là thành phần cơ bản nhất của mạng neural, và toàn bộ mạng được xây dựng từ nhiều neuron. Cấu trúc của một neuron như sau: Trong đó, x₁, x₂, x₃ và 1 là các đầu vào, hw,b(x) là ...

Đăng vào ngày 24 tháng 5 lúc 15:33