Thu thập dữ liệu từ Lagou bằng Scrapy
Quy trình thu thập dữ liệu từ trang web Lagou không quá phức tạp, nhưng có một số vấn đề nhỏ cần chú ý. Dưới đây là hướng dẫn chi tiết.
>> scrapy startproject lagou
>> cd lagou
>> scrapy genspider job_lagou www.lagou.com
Khởi tạo cấu trúc dữ liệu
Trong file items.py, chúng ta định nghĩa các trường dữ liệu cần thu thập:
# -*- ...
Đăng vào ngày 19 tháng 6 lúc 16:36
Công cụ giám sát hiệu suất hệ thống Linux Glances: Hướng dẫn sử dụng
Giới thiệu Glances
Glances là một công cụ giám sát đa nền tảng, được thiết kế để hiển thị thông tin giám sát rộng rãi thông qua giao diện curses hoặc dựa trên web. Thông tin này được điều chỉnh động theo kích thước của giao diện người dùng.
Công cụ cũng có thể hoạt động ở chế độ client/server. Giám sát từ xa có thể được thực hiện thông qua term ...
Đăng vào ngày 19 tháng 6 lúc 08:37
Lập trình Python: Cơ bản về Python
Giới thiệu tổng quan
1. Phạm vi biến (Scope)
Biến tồn tại trong bộ nhớ có thể được truy cập từ bất kỳ đâu trong chương trình. Ví dụ:
if True:
username = 'example_user'
print(username)
Điều quan trọng cần nhớ:
Biến trong khối mã con có thể truy cập biến ngoài khối
Biến trong hàm chỉ tồn tại trong phạm vi hàm
2. Toán tử 3 ngôi
Cú pháp:
...
Đăng vào ngày 19 tháng 6 lúc 08:14
Tự động hóa việc lấy mã truy cập Baidu Netdisk: Nguyên lý và Hướng dẫn thực hành
Tự động hóa việc lấy mã truy cập Baidu Netdisk: Nguyên lý và Hướng dẫn thực hành
Trong kỷ nguyên chia sẻ tài nguyên số, Baidu Netdisk đã trở thành một nền tảng quan trọng để chúng ta truy cập tài liệu học tập, tài liệu công việc và tài nguyên giải trí. Tuy nhiên, khi đối mặt với các liên kết chia sẻ thiếu mã truy cập, việc tìm kiếm thủ công thư ...
Đăng vào ngày 19 tháng 6 lúc 02:15
Khắc phục lỗi Permission denied khi mmcv tạo file tạm trên Windows
Khi chạy huấn luyện mô hình sử dụng mmcv, bạn có thể gặp lỗi sau:
Traceback (most recent call last):
File "D:/Projects/project_name/tools/train.py", line 178, in <module>
main()
File "D:/Projects/project_name/tools/train.py", line 167, in main
train_detector(
File "D:\Projects\project_name\mmdet\apis\train.py", line 147, in ...
Đăng vào ngày 19 tháng 6 lúc 00:46
Thực hành vòng lặp lồng nhau trong Python web crawler (2.1)
Viết một hàm nhận ba tham số (book: tên sách, title: tiêu đề, content: nội dung). Hàm này sẽ tạo thư mục book nếu chưa tồn tại, sau đó tạo file title.txt trong thư mục đó và ghi nội dung vào file.
import os
def write_content_to_file(book_name, chapter_title, chapter_content):
# Tạo thư mục nếu chưa tồn tại
if not os.path.isdir(book_na ...
Đăng vào ngày 18 tháng 6 lúc 21:41
Xử lý vấn đề truy vấn dữ liệu hàng loạt trong SQL
Truy xuất dữ liệu từ cơ sở dữ liệu
SELECT
re.tenant_id AS adm_div_code,
re.pa_year,
re.pa_bt_bt_no nt_pa_vo_id,
pi.created_date AS bi_date,
re.accept_bt_code,
'' AS exec_bt_name,
'' AS bt_fax_proj_code,
tt.bt_fax_pro_code AS bt_fax_code,
tt.bt_fax_pro_name AS bt_fax_name,
tt.bt_type AS bt_in_category_code ...
Đăng vào ngày 18 tháng 6 lúc 19:09
Django: How to Use xlwt to Export an Excel File?
Importing xlwt to export data to an Excel file is a common functionality in our Django applications. This guide demonstrates how to achieve this using the xlwt Python module.
Install xlwt Module
In your Django virtual environment, install the xlwt module:
pip install xlwt
Generate Data Tables in models.py
Create a data model in your Djang ...
Đăng vào ngày 18 tháng 6 lúc 17:44
Hướng Dẫn Lập Trình Python cho Web Scraping
Học Thuật Toàn Mạng Web
Lưu ý: Ghi chú này được viết bằng jupyter.
Kiến Thức Web Frontend
Jupyter có thể chạy trực tiếp HTML và JavaScript chỉ cần thêm %%html hoặc %%javascript vào trước mã code:
%%html
<html>
<head>
<title>Phát triển Web Scraping với Python</title>
<meta charset='UT ...
Đăng vào ngày 18 tháng 6 lúc 17:02
Khám Phá Ngôn Ngữ Python: Từ Cơ Bản Đến Nâng Cao
Khái Niệm Cơ Bản Về Python
Python được phát triển bởi Guido van Rossum vào năm 1989 với mục tiêu tạo ra một ngôn ngữ lập trình dễ hiểu, mạnh mẽ và mở. Tên của ngôn ngữ này lấy cảm hứng từ chương trình truyền hình Monty Python's Flying Circus.
Đặc Điểm Chính Của Python
Dễ học và dễ đọc: Cú pháp đơn giản, gần giống với tiếng Anh
Đa năng: Phù h ...
Đăng vào ngày 18 tháng 6 lúc 17:00