用Python编写一个简单的网络爬虫

引言/概述

在当今信息爆炸的时代，网络爬虫（Web Crawler）作为一种自动化获取网页数据的工具，被广泛应用于数据分析、搜索引擎、舆情监控、价格比对等多个领域。Python 由于其简洁的语法和丰富的第三方库（如 requests、BeautifulSoup、lxml 等），成为编写网络爬虫的首选语言之一。

本文将带你从零开始，使用 Python 编写一个简单的网络爬虫。我们将以抓取某新闻网站的标题和链接为例，逐步介绍爬虫的基本原理、所需工具、代码实现以及注意事项。即使你是编程新手，只要具备基础的 Python 知识，也能轻松理解并运行本教程中的示例代码。

注意：网络爬虫虽强大，但使用时必须遵守目标网站的 robots.txt 协议，尊重版权与隐私，避免对服务器造成过大压力。本文仅用于学习目的，请勿用于非法或违反网站使用条款的行为。

核心内容

准备工作：安装必要库

在开始编码前，我们需要安装两个常用的 Python 库：

• requests：用于发送 HTTP 请求，获取网页内容。
• beautifulsoup4：用于解析 HTML 文档，提取所需数据。

你可以通过 pip 安装它们：

pip install requests beautifulsoup4

确保你的 Python 环境已正确配置，并能成功导入这些库。

第一步：获取网页内容

网络爬虫的第一步通常是向目标网站发送 HTTP 请求，并接收返回的 HTML 内容。我们使用 requests 库来完成这一任务。

假设我们要爬取的是 https://example-news-site.com（为教学目的虚构的网址），实际中可替换为真实且允许爬取的网站，例如某些开源新闻聚合站或公开数据接口。

以下是一个简单的请求示例：

import requests

url = "https://example-news-site.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

try:
    response = requests.get(url, headers=headers)
    response.raise_for_status()  # 如果状态码不是200，抛出异常
    print("页面获取成功！")
    html_content = response.text
except requests.RequestException as e:
    print(f"请求失败: {e}")

这里我们设置了 User-Agent 头部，模拟浏览器访问，避免被网站识别为爬虫而拒绝服务。response.raise_for_status() 可以帮助我们快速发现 HTTP 错误（如 404、500 等）。

第二步：解析 HTML 并提取数据

获取到 HTML 后，我们需要从中提取有用的信息。例如，新闻网站通常会将文章标题放在 <h2> 或 <a> 标签中，并附带链接。

BeautifulSoup 是一个强大的 HTML/XML 解析器，使用它我们可以像操作 DOM 一样提取元素。

假设目标网页的结构如下（简化版）：

<div class="news-list">
    <a href="/article1">标题一</a>
    <a href="/article2">标题二</a>
    <a href="/article3">标题三</a>
</div>

我们可以这样提取标题和链接：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')
news_items = soup.select('div.news-list a')  # 使用 CSS 选择器

for item in news_items:
    title = item.get_text(strip=True)
    link = item.get('href')
    if link.startswith('/'):
        link = "https://example-news-site.com" + link  # 补全相对链接
    print(f"标题: {title}\n链接: {link}\n")

select() 方法支持 CSS 选择器语法，非常灵活。get_text(strip=True) 可去除前后空白字符，get('href') 则获取 href 属性值。

第三步：封装成函数并处理异常

为了提高代码的可读性和复用性，我们可以将上述逻辑封装成函数，并加入更完善的错误处理。

import requests
from bs4 import BeautifulSoup

def fetch_news(url):
    headers = {
        "User-Agent": "Mozilla/5.0"
    }
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
        response.encoding = response.apparent_encoding  # 自动识别编码
        return response.text
    except requests.RequestException as e:
        print(f"获取页面失败: {e}")
        return None

def parse_news(html, base_url):
    if not html:
        return []
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.select('div.news-list a')
    news_list = []
    for item in items:
        title = item.get_text(strip=True)
        link = item.get('href')
        if not title or not link:
            continue
        if link.startswith('/'):
            link = base_url + link
        news_list.append({'title': title, 'link': link})
    return news_list

# 主程序
if __name__ == "__main__":
    base_url = "https://example-news-site.com"
    html = fetch_news(base_url)
    news = parse_news(html, base_url)
    for n in news:
        print(f"【{n['title']}】\n{n['link']}\n")

这样，代码结构更清晰，也便于后续扩展（如保存到文件、数据库等）。

第四步：遵守爬虫礼仪与法律边界

虽然技术上我们可以快速抓取大量数据，但负责任的爬虫开发者必须注意以下几点：

1. 检查 robots.txt：访问 https://目标网站/robots.txt，查看哪些路径允许爬取。例如：

   User-agent: *
   Disallow: /admin/
   Allow: /news/
   

2. 控制请求频率：避免短时间内发送大量请求，可使用 time.sleep() 延迟：

   import time
   time.sleep(1)  # 每次请求间隔1秒
   

3. 不要抓取敏感或受版权保护的内容：如用户个人信息、付费内容等。

4. 设置合理的 User-Agent：表明身份，便于网站管理员联系。

5. 考虑使用官方 API：许多网站提供 API 接口（如 GitHub、Twitter），优先使用 API 而非爬虫。

扩展：保存数据到 CSV 文件

提取的数据如果需要长期保存，可以导出为 CSV 格式：

import csv

def save_to_csv(news_list, filename="news.csv"):
    with open(filename, mode='w', newline='', encoding='utf-8') as f:
        writer = csv.DictWriter(f, fieldnames=['title', 'link'])
        writer.writeheader()
        writer.writerows(news_list)
    print(f"数据已保存至 {filename}")

# 在主程序中调用
save_to_csv(news)

这样，你就可以用 Excel 或其他工具打开分析了。

总结

本文通过一个简单的新闻标题爬虫示例，介绍了使用 Python 编写网络爬虫的基本流程：发送请求 → 获取 HTML → 解析内容 → 提取数据 → 保存结果。我们使用了 requests 和 BeautifulSoup 两个核心库，并强调了编写爬虫时应遵守的道德与法律规范。

虽然这个爬虫功能简单，但它构成了更复杂爬虫系统的基础。在实际项目中，你可能还需要处理 JavaScript 渲染的页面（可使用 Selenium）、反爬机制（如验证码、IP 封禁）、分布式爬取等高级问题。但对于初学者而言，掌握本文内容已足够应对大多数静态网页的数据抓取需求。

最后再次提醒：技术无罪，但使用需谨慎。请始终以合法、合规、尊重他人劳动成果为前提进行网络爬虫开发。希望本文能为你开启数据采集之旅提供一个良好的起点！