使用 Node.js 构建一个简易网页爬虫

引言/概述

随着互联网数据的爆炸式增长，如何高效、自动化地从网页中提取有价值的信息成为开发者和数据分析师关注的重点。网络爬虫（Web Crawler 或 Web Scraper）正是实现这一目标的核心工具之一。Node.js 凭借其非阻塞 I/O 模型、丰富的 npm 生态系统以及 JavaScript 语言的广泛使用，成为构建轻量级爬虫的理想选择。

本文将带你从零开始，使用 Node.js 编写一个基础但功能完整的网页爬虫。我们将涵盖环境搭建、HTTP 请求发送、HTML 解析、数据提取、错误处理及简单反爬策略应对等内容。通过本文的学习，你不仅能掌握爬虫的基本原理，还能动手实现一个可扩展的小型爬虫项目。

---

核心内容

1. 环境准备与依赖安装

在开始编码前，确保你的开发环境中已安装 Node.js（建议 v16 或更高版本）。你可以通过以下命令验证：

node -v
npm -v

接下来，创建一个新的项目目录并初始化 npm：

mkdir node-scraper
cd node-scraper
npm init -y

我们需要两个核心依赖：

• axios：用于发送 HTTP 请求
• cheerio：类似 jQuery 的服务器端 HTML 解析库

安装依赖：

npm install axios cheerio

提示：cheerio 不依赖浏览器环境，非常适合在 Node.js 中解析 HTML 文档。

2. 发送 HTTP 请求获取网页内容

我们以抓取一个公开的新闻网站（如 Hacker News）为例。首先使用 axios 获取网页 HTML 内容：

// scraper.js
const axios = require('axios');

async function fetchPage(url) {
  try {
    const response = await axios.get(url, {
      headers: {
        'User-Agent': 'Mozilla/5.0 (compatible; Node.js scraper)'
      }
    });
    return response.data;
  } catch (error) {
    console.error('请求失败:', error.message);
    return null;
  }
}

// 示例调用
fetchPage('https://news.ycombinator.com').then(html => {
  if (html) {
    console.log('页面获取成功，长度:', html.length);
  }
});

注意：设置 User-Agent 是良好实践，避免被服务器识别为机器人而拒绝请求。

3. 使用 Cheerio 解析 HTML 并提取数据

获取到 HTML 字符串后，我们使用 cheerio 加载并操作 DOM。Hacker News 的每条新闻标题都包含在带有 .titleline > a 的元素中。

const cheerio = require('cheerio');

function extractNews(html) {
  const $ = cheerio.load(html);
  const newsList = [];

  $('.titleline > a').each((index, element) => {
    const title = $(element).text();
    const link = $(element).attr('href');
    // 补全相对链接（如果需要）
    const fullLink = link.startsWith('http') ? link : `https://news.ycombinator.com/${link}`;
    newsList.push({ title, link: fullLink });
  });

  return newsList;
}

将上述函数整合进主流程：

async function scrapeHackerNews() {
  const url = 'https://news.ycombinator.com';
  const html = await fetchPage(url);
  if (!html) return;

  const news = extractNews(html);
  console.log('抓取到的新闻条数:', news.length);
  news.slice(0, 5).forEach(item => {
    console.log(`- ${item.title} (${item.link})`);
  });
}

scrapeHackerNews();

运行该脚本，你将看到前五条 Hacker News 的标题和链接。

4. 错误处理与重试机制

实际爬虫常遇到网络波动、页面结构变化或反爬机制。因此，健壮的错误处理必不可少。我们可以添加简单的重试逻辑：

async function fetchWithRetry(url, retries = 3) {
  for (let i = 0; i < retries; i++) {
    try {
      const response = await axios.get(url, {
        timeout: 5000,
        headers: { 'User-Agent': 'Mozilla/5.0 (compatible; Node.js scraper)' }
      });
      return response.data;
    } catch (error) {
      console.warn(`第 ${i + 1} 次尝试失败:`, error.message);
      if (i === retries - 1) throw error;
      await new Promise(resolve => setTimeout(resolve, 1000 * (i + 1))); // 指数退避
    }
  }
}

5. 应对基础反爬策略

许多网站会限制频繁请求。为避免被封 IP，我们应：

• 控制请求频率（例如每秒不超过 1 次）
• 使用随机 User-Agent
• 避免并发过高

示例：添加请求延迟

async function scrapeWithDelay(urls, delayMs = 1000) {
  for (const url of urls) {
    const html = await fetchWithRetry(url);
    const data = extractNews(html);
    // 处理数据...
    await new Promise(resolve => setTimeout(resolve, delayMs));
  }
}

高级提示：对于更复杂的反爬（如验证码、动态渲染），可能需要结合 Puppeteer（控制无头浏览器）来执行 JavaScript 渲染后的页面。

6. 数据存储与输出

抓取的数据通常需要持久化。我们可以将其保存为 JSON 文件：

const fs = require('fs').promises;

async function saveToFile(data, filename = 'news.json') {
  try {
    await fs.writeFile(filename, JSON.stringify(data, null, 2));
    console.log(`数据已保存至 ${filename}`);
  } catch (err) {
    console.error('保存失败:', err);
  }
}

// 在 scrapeHackerNews 中调用
async function scrapeAndSave() {
  const html = await fetchWithRetry('https://news.ycombinator.com');
  const news = extractNews(html);
  await saveToFile(news);
}

你也可以将数据写入数据库（如 MongoDB、PostgreSQL），但这超出了本文范围。

---

总结

通过本文，我们使用 Node.js 成功构建了一个功能完整的网页爬虫。整个过程涵盖了从环境搭建、发送请求、解析 HTML、提取结构化数据，到错误处理和数据存储的完整链路。关键点包括：

• 使用 axios 发起 HTTP 请求，并设置合理的请求头；
• 利用 cheerio 在服务端高效解析 HTML，无需浏览器环境；
• 添加重试机制和请求延迟，提升爬虫的稳定性和友好性；
• 将结果保存为本地文件，便于后续分析或展示。

需要强调的是，编写爬虫时务必遵守目标网站的 robots.txt 协议，尊重版权和隐私政策，避免对服务器造成过大压力。合理、合法、有节制地使用爬虫技术，才能真正发挥其在数据采集与分析中的价值。

最后，你可以在此基础上进一步扩展功能，例如：

• 支持多页爬取（翻页逻辑）
• 自动识别分页链接
• 使用代理池绕过 IP 限制
• 集成日志系统监控爬取状态

希望本文能为你打开 Node.js 爬虫开发的大门！