Giới thiệu về Web Crawling

Định nghĩa về Web Crawling

• Khái niệm hình ảnh

Web crawling, hay còn gọi là bọ web, có thể được hiểu như một con nhện đang di chuyển trên mạng internet. Internet được xem như một tấm lưới lớn, và bọ web chính là con nhện di chuyển trên đó, thu thập dữ liệu khi gặp phải nguồn tài nguyên. Dữ liệu nào được thu thập phụ thuộc vào cách bạn điều khiển nó.

• Khái niệm học thuật

Web crawling là quá trình viết chương trình mô phỏng hành vi của trình duyệt để thu thập dữ liệu từ internet.

Giá trị của Web Crawling

Việc học web crawling mang lại nhiều lợi ích, cả về ứng dụng thực tế lẫn cơ hội việc làm. Thu thập dữ liệu từ internet giúp tạo ra một ngân hàng dữ liệu, mà sau đó có thể được sử dụng để phát triển các sản phẩm hoặc dịch vụ thương mại.

Từ góc độ việc làm, kỹ sư web crawling hiện nay là nguồn nhân lực khan hiếm, với mức lương hấp dẫn. Việc nắm vững kỹ năng này sẽ rất có lợi cho sự nghiệp của bạn. Đặc biệt, trong kỷ nguyên dữ liệu lớn, web crawling ngày càng trở nên quan trọng hơn.

Web Crawling: Hợp pháp hay bất hợp pháp?

Web crawling là một công nghệ trung lập, không bị cấm theo luật pháp. Tuy nhiên, việc sử dụng web crawling để thu thập dữ liệu có thể gây rủi ro pháp lý. Ví dụ, việc thu thập thông tin công khai trên trang web là hợp pháp, nhưng nếu kết hợp với kỹ thuật hack để truy cập vào hệ thống quản lý và lấy dữ liệu cá nhân, thì đó là hành vi bất hợp pháp.

Các công cụ tìm kiếm như Google sử dụng web crawling để lập chỉ mục các trang web, được coi là "crawling thiện ý". Ngược lại, các công cụ mua vé tự động như 12306, thường được coi là "crawling ác ý" vì chúng gây áp lực lên hệ thống.

Cách tránh vi phạm pháp luật khi sử dụng Web Crawling

- Tuân thủ nghiêm ngặt thỏa thuận robots.txt của trang web.
- Tối ưu hóa mã nguồn để tránh gây phiền toái cho trang web được truy cập.
- Kiểm tra nội dung đã thu thập, nếu phát hiện thông tin cá nhân hoặc bí mật kinh doanh, cần dừng và xóa ngay.

Thỏa thuận Robots.txt

Robots.txt là một tập tin văn bản được đặt ở gốc của trang web, quy định những nội dung nào có thể và không thể được thu thập bởi bọ web. Điều này giúp bảo vệ thông tin nhạy cảm và tăng lưu lượng truy cập từ các công cụ tìm kiếm.

Vụ kiện đầu tiên liên quan đến robots.txt xảy ra vào năm 2000, khi eBay kiện BE vì vi phạm thỏa thuận. Cuối cùng, eBay thắng kiện, xác định robots.txt có giá trị pháp lý.

Ngôn ngữ hỗ trợ Web Crawling

• PHP: Có thể thực hiện web crawling, nhưng không tốt trong xử lý đa luồng và đa tiến trình.
• C, C++: Có thể thực hiện, nhưng không phải lựa chọn hợp lý.
• Java: Rất mạnh mẽ trong web crawling, nhưng mã nguồn có thể phức tạp.
• Python: Là lựa chọn phổ biến nhất, với cú pháp đơn giản, mã nguồn đẹp và nhiều thư viện hỗ trợ.

Phân loại Web Crawling

• Bọ web chung (General Web Crawler): Thu thập toàn bộ trang web, tạo bản sao lưu của internet.
• Bọ web tập trung (Focused Web Crawler): Thu thập dữ liệu cụ thể theo yêu cầu, ví dụ: tên phim và đánh giá trên Douban.
• Bọ web gia tăng (Incremental Web Crawler): Theo dõi và thu thập dữ liệu mới được cập nhật trên trang web.

Mâu thuẫn giữa Bọ web và Cơ chế chống bọ web

• Cơ chế chống bọ web: Các trang web sử dụng các chiến lược và công nghệ để ngăn chặn bọ web thu thập dữ liệu.
• Chiến lược chống cơ chế chống bọ web: Bọ web sử dụng các chiến lược và công nghệ để vượt qua các cơ chế chống bọ web.