用 Python 编写一个实用的网络爬虫：从入门到实践

引言/概述

在当今数据驱动的时代，网络爬虫（Web Crawler）已成为获取互联网公开信息的重要工具。无论是做市场调研、舆情分析，还是构建自己的数据集，掌握爬虫技术都是一项极具价值的技能。Python 凭借其简洁的语法和丰富的第三方库（如 requests、BeautifulSoup、Scrapy 等），成为编写爬虫的首选语言。

本文将带你从零开始，使用 Python 编写一个结构清晰、功能完整的网络爬虫。我们将以爬取某新闻网站的标题和链接为例，逐步讲解爬虫的基本原理、关键组件、反爬应对策略以及代码优化技巧。全文约2000字，适合有一定 Python 基础但尚未接触爬虫的读者。

---

核心内容

一、爬虫的基本原理与工作流程

网络爬虫本质上是一个自动化的 HTTP 客户端。它通过向目标网站发送请求，获取网页的 HTML 内容，然后从中提取所需的数据。典型的爬虫工作流程如下：

1. 发送 HTTP 请求：使用 GET 或 POST 方法向目标 URL 发起请求。
2. 接收响应：服务器返回 HTML、JSON 或其他格式的响应内容。
3. 解析内容：使用解析库（如 BeautifulSoup 或 lxml）从 HTML 中提取结构化数据。
4. 存储数据：将提取的数据保存到文件、数据库或内存中。
5. 循环或递归：根据需求爬取多个页面（如分页、详情页等）。

整个过程需遵守网站的 robots.txt 协议，并控制请求频率，避免对服务器造成过大压力。

二、环境准备与依赖安装

在开始编码前，我们需要安装必要的 Python 库。推荐使用虚拟环境以避免依赖冲突：

python -m venv crawler_env
source crawler_env/bin/activate  # Linux/macOS
# crawler_env\Scripts\activate   # Windows
pip install requests beautifulsoup4 lxml

• requests：用于发送 HTTP 请求。
• beautifulsoup4：用于解析 HTML 文档。
• lxml：高性能的 XML/HTML 解析器，可作为 BeautifulSoup 的后端加速解析。

三、编写基础爬虫：抓取新闻标题

我们以一个虚构的新闻网站 https://example-news.com 为例（实际使用时请替换为真实且允许爬取的网站）。假设该网站首页列出多条新闻，每条新闻包含标题和链接，HTML 结构如下：

<div class="news-item">
    <a href="/article/123">今日科技重大突破</a>
</div>

下面是一个简单的爬虫脚本：

import requests
from bs4 import BeautifulSoup
import time

def fetch_news():
    url = "https://example-news.com"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    }

    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()  # 检查请求是否成功
        response.encoding = 'utf-8'  # 显式指定编码
    except requests.RequestException as e:
        print(f"请求失败: {e}")
        return []

    soup = BeautifulSoup(response.text, 'lxml')
    news_list = []

    for item in soup.select('div.news-item a'):
        title = item.get_text(strip=True)
        link = item.get('href')
        if link and not link.startswith('http'):
            link = f"https://example-news.com{link}"  # 处理相对链接
        news_list.append({'title': title, 'link': link})

    return news_list

if __name__ == "__main__":
    news = fetch_news()
    for n in news:
        print(f"标题: {n['title']}\n链接: {n['link']}\n")

注意：实际使用时，请将 https://example-news.com 替换为真实且允许爬取的网站（如 https://quotes.toscrape.com/ 是一个专为练习设计的网站）。

四、处理反爬机制

许多网站会设置反爬措施，常见的包括：

• User-Agent 检测：服务器检查请求头中的 User-Agent 是否为浏览器。
• IP 封禁：短时间内高频请求会被临时封 IP。
• 验证码：触发风控后弹出验证码。
• 动态加载内容：部分内容由 JavaScript 渲染，静态 HTML 中不存在。

应对策略：

1. 设置合理的请求头：模拟真实浏览器行为。
2. 添加延时：在每次请求之间加入 time.sleep()。
3. 使用代理 IP：通过代理池轮换 IP 地址（本文不展开）。
4. 处理动态内容：对于 JavaScript 渲染的内容，可使用 Selenium 或 Playwright。

示例：添加请求间隔

for i in range(1, 6):  # 爬取前5页
    page_url = f"https://example-news.com/page/{i}"
    news = fetch_single_page(page_url)
    save_to_file(news)
    time.sleep(2)  # 每次请求间隔2秒

五、数据存储与结构化输出

爬取的数据通常需要持久化。我们可以将其保存为 CSV、JSON 或存入数据库。

保存为 JSON 文件：

import json

def save_to_json(data, filename='news.json'):
    with open(filename, 'w', encoding='utf-8') as f:
        json.dump(data, f, ensure_ascii=False, indent=2)

# 在主程序中调用
news = fetch_news()
save_to_json(news)

保存为 CSV 文件：

import csv

def save_to_csv(data, filename='news.csv'):
    with open(filename, 'w', newline='', encoding='utf-8') as f:
        writer = csv.DictWriter(f, fieldnames=['title', 'link'])
        writer.writeheader()
        writer.writerows(data)

选择哪种格式取决于后续使用场景：JSON 适合嵌套结构，CSV 适合表格型数据。

六、异常处理与日志记录

健壮的爬虫必须处理各种异常情况，如网络超时、页面结构变化、编码错误等。

import logging

logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

def fetch_news():
    try:
        # ... 请求与解析逻辑 ...
        logging.info(f"成功爬取 {len(news_list)} 条新闻")
        return news_list
    except Exception as e:
        logging.error(f"爬取失败: {e}")
        return []

通过日志，我们可以追踪爬虫运行状态，便于调试和监控。

---

总结

本文从零开始，带你用 Python 编写了一个结构完整、具备基本反爬意识的网络爬虫。我们学习了：

• 爬虫的基本工作流程；
• 使用 requests 和 BeautifulSoup 抓取并解析网页；
• 设置请求头、处理相对链接、添加请求延时；
• 将数据保存为 JSON 或 CSV 格式；
• 加入异常处理与日志记录以提升稳定性。

需要注意的是，网络爬虫必须遵守法律法规和网站的使用条款。在爬取任何网站前，请务必：

1. 查看 https://目标网站/robots.txt；
2. 避免高频请求，尊重服务器资源；
3. 不爬取涉及个人隐私或商业机密的数据。

对于更复杂的项目（如大规模分布式爬虫、登录后爬取、JavaScript 渲染页面等），可以考虑使用 Scrapy 框架或 Selenium 工具。但无论工具如何变化，本文所介绍的核心思想——合理请求、优雅解析、妥善存储——始终是编写高质量爬虫的基石。

希望本文能为你开启爬虫之旅提供坚实的第一步。Happy crawling!