Triển khai ELK trên Docker để thu thập và phân tích nhật ký container
Tổng quan về kiến trúc
Trong môi trường container hóa, việc quản lý nhật ký tập trung trở nên quan trọng. Hệ thống ELK (Elasticsearch, Logstash, Kibana) được triển khai dưới dạng container cung cấp giải pháp thu thập, lưu trữ và phân tích nhật ký hiệu quả. Bài viết này trình bày cách triển khai đầy đủ từ khâu thu thập nhật ký container, tự động ...
Đăng vào ngày 12 tháng 8 lúc 21:26
Cài đặt Elasticsearch đơn lẻ và giải quyết các vấn đề thường gặp
Mục lục
1. Chuẩn bị
1.1. Cài đặt JDK
1.2. Tải xuống gói cài đặt
1.3. Tạo người dùng elastic
2. Khởi động dịch vụ ES
2.1. Chỉnh sửa tệp cấu hình
2.2. Khởi động dịch vụ
3. Xác minh dịch vụ ES có sẵn sàng không
4. Tắt và khởi ...
Đăng vào ngày 12 tháng 8 lúc 06:42
Các Truy Vấn Phức Tạp trong ElasticSearch
Truy vấn theo điều kiện
Truy vấn tất cả dữ liệu có tên là "Nguyễn Ba":
GET /_search HTTP/1.1
Host: http://127.0.0.1:9200/shopping
Content-Type: application/json
Content-Length: 72
{
"query": {
"match": {
"name": "Nguyễn Ba"
}
}
}
Truy vấn tất cả dữ liệu
GET ...
Đăng vào ngày 6 tháng 8 lúc 21:08
Sử dụng Redis làm Broker trung gian cho Logstash trong hệ thống ELK Stack
Trong kiến trúc ELK Stack quy mô lớn, việc sử dụng một hệ thống message broker làm bộ đệm giữa Logstash Shipper và Logstash Indexer là cực kỳ quan trọng. Điều này giúp hệ thống tránh được tình trạng quá tải khi lượng log tăng đột biến. Redis là một trong những lựa chọn phổ biến nhất nhờ tốc độ cao và cấu hình đơn giản.
1. Triển khai và cấu hìn ...
Đăng vào ngày 27 tháng 7 lúc 14:49
Các loại truy vấn cơ bản trong Elasticsearch
Trong các hệ thống tìm kiếm hiện đại, Elasticsearch cung cấp nhiều phương thức truy vấn linh hoạt để xử lý dữ liệu có cấu trúc và bán cấu trúc. Dưới đây là tổng hợp các loại truy vấn phổ biến nhất, kèm ví dụ minh họa rõ ràng và phân tích ngắn gọn về ngữ cảnh sử dụng phù hợp.
1. Truy vấn match – Tìm kiếm văn bản phân tích
Dùng để tìm kiếm trên ...
Đăng vào ngày 23 tháng 7 lúc 03:18
Cấu hình và sử dụng Dynamic Mapping trong Elasticsearch
Mục lục- 1 Dynamic Mapping
1.1 Dynamic Mapping là gì
1.2 Thử nghiệm Dynamic Mapping
1.3 Phân tích nguyên nhân kết quả tìm kiếm không nhất quán
2 Kích hoạt chiến lược Dynamic Mapping
2.1 Ràng buộc chiến lược
2.2 Ví dụ về chiến lược
3 Tùy chỉnh chiến lược Dynamic Mapping
3.1 date_detection - Chiến lược nhận dạng ngày
3.2 Tùy chỉnh mẫu Dynamic Ma ...
Đăng vào ngày 21 tháng 7 lúc 14:29
Triển khai Filebeat để thu thập và quản lý Log hệ thống tập trung
Tổng quan về Filebeat
Filebeat là một trình thu thập nhật ký (log shipper) cực kỳ nhẹ, thuộc hệ sinh thái Elastic Stack. So với Logstash, Filebeat có những ưu điểm vượt trội về mặt hiệu năng:
Kiến trúc tinh gọn: Filebeat được viết bằng Go, không yêu cầu môi trường Java (JVM) để khởi chạy.
Tiết kiệm tài nguyên: Trong khi Logstash thường ...
Đăng vào ngày 20 tháng 7 lúc 17:04
Loại bỏ Mapping Type trong Elasticsearch: Lý do và Chiến lược Chuyển đổi
Kể từ phiên bản Elasticsearch 6.0, một thay đổi mang tính bước ngoặt đã được thực hiện: mỗi index chỉ được phép chứa duy nhất một mapping type. Các phiên bản 7.x tiếp tục lộ trình loại bỏ hoàn toàn khái niệm này, và đến phiên bản 8.0, mapping type đã chính thức bị xóa bỏ khỏi các API. Việc hiểu rõ lý do và cách thích nghi với thay đổi này là cự ...
Đăng vào ngày 19 tháng 7 lúc 06:20
Cấu hình và Tối ưu hóa Hiệu năng Elasticsearch
Hệ thống cấu hình cốt lõi của Elasticsearch
Việc vận hành Elasticsearch một cách ổn định đòi hỏi sự hiểu biết sâu sắc về các tệp cấu hình nằm trong thư mục ES_HOME/config. Ba tệp tin quan trọng nhất bao gồm elasticsearch.yml (thiết lập hệ thống), jvm.options (quản lý bộ nhớ ảo Java) và log4j2.properties (quản lý nhật ký hệ thống).
1. Tệp cấu h ...
Đăng vào ngày 15 tháng 7 lúc 07:59
Triển khai ELK Stack bằng Docker Compose cho Cụm Elasticsearch 3 Node
Bài viết này hướng dẫn chi tiết cách thiết lập một cụm ELK (Elasticsearch, Logstash, Kibana) sử dụng Docker Compose, tập trung vào việc xây dựng một cụm Elasticsearch gồm 3 node để đảm bảo tính sẵn sàng cao và khả năng mở rộng. Chúng ta sẽ tận dụng Filebeat làm trình thu thập nhật ký, Logstash để xử lý dữ liệu và Kibana để trực quan hóa.
Tổng ...
Đăng vào ngày 12 tháng 7 lúc 21:13