高并发系统设计：从理论到实践（新手友好教程）

MQ堵车了

2025-06-27 02:38

阅读 261

开篇：高并发技术是做什么的？

想象一下你开了一个网红奶茶店，平时一天卖100杯没问题。但突然间因为网上爆火，一天来了10万个人排队——这就是典型的“高并发场景”。如果没有提前做好准备，你的小店就会像服务器一样崩溃。

在计算机领域，高并发系统设计的目标就是：让网站、APP、服务器在面对大量用户访问时也能正常运行，甚至跑得更快更稳。比如淘宝双11、微博热门话题、抢票系统等都离不开这门技术。

在这篇教程中，我们不会直接让你开发淘宝级别的系统，但会让你亲手搭建一个能同时支持上万个请求的简单服务，从零开始，一步步掌握核心概念和实战技巧。

环境准备：你需要的开发环境

开始动手之前，请确保你的电脑已经安装了以下工具：

1. 安装 Node.js（推荐使用 v20.x 或以上）

访问官网 https://nodejs.org
下载并安装 LTS 版本

验证是否安装成功：

node -v
npm -v

如果你看到输出版本号，恭喜你安装完成。

2. 安装 Redis（用于缓存）

Windows 用户可以下载 MSI 安装包：Redis for Windows
Mac 用户可以使用 Homebrew：

brew install redis
brew services start redis

Linux 用户可以使用 apt 或 yum 安装

验证 Redis 是否启动成功：

redis-cli ping

返回 PONG 表示 Redis 正常运行。

3. 安装数据库（如 MySQL 或 PostgreSQL）

这里我们以 MySQL 为例：

下载地址：https://dev.mysql.com/downloads/mysql/
安装完成后，记得设置 root 用户密码

测试连接：

mysql -u root -p

核心概念解析：什么是高并发？为什么要学它？

数据流转过程-1

以下是几个你必须了解的核心概念，我会用最通俗的方式解释它们，并搭配代码演示。

1. 并发 vs 并行

并发：多个任务交替执行（看起来像是同时在做）
并行：多个任务真正同时执行（多核 CPU 才能实现）

类比：并发就像你在煮饭的同时刷牙，虽然两件事在交替做，但你看起来同时做了两件事；而并行就像是你有双手，可以一边切菜一边炒菜。

2. 请求量、吞吐量与响应时间

请求量 QPS（Queries per Second）：每秒能处理多少个请求
响应时间 RT（Response Time）：处理一个请求需要多久（越短越好）
吞吐量 TPS（Transactions per Second）：每秒能完成多少完整交易流程

⚠️ 初学者常见误区：以为并发越高越好，其实要看平衡。举个例子，一个餐厅如果接待的人太多却没人能吃得上饭，那也没意义。

3. 负载均衡（Load Balancing）

负载均衡就像饭店请了好几个服务员，顾客来了不全找一个人点餐，而是分给不同的服务员，这样就不会有人忙不过来。

我们可以使用 Nginx 来实现负载均衡。下面是一个简单的配置示例：

http {
    upstream backend {
        server 127.0.0.1:3000;
        server 127.0.0.1:3001;
        server 127.0.0.1:3002;
    }

    server {
        listen 80;

        location / {
            proxy_pass http://backend;
        }
    }
}

4. 缓存（Cache）

缓存就像你把常用的调料放在厨房随手可取的地方。例如用户频繁查看某个商品信息，如果每次都去数据库查就很慢，不如先缓存起来。

示例：用 Redis 缓存热门文章内容

const express = require('express');
const redis = require('redis');
const client = redis.createClient();

app.get('/article/:id', async (req, res) => {
  const { id } = req.params;
  // 先查缓存
  client.get(`article:${id}`, (err, data) => {
    if (data) {
      return res.json({ source: 'cache', data });
    }

    // 没找到就查数据库（假设 db.query 是查询方法）
    const article = await db.query(`SELECT * FROM articles WHERE id = ?`, [id]);
    client.setex(`article:${id}`, 60, JSON.stringify(article)); // 存入缓存，有效期60秒
    res.json({ source: 'db', data: article });
  });
});

5. 数据库读写分离

你可以理解为，有些服务员专门负责端菜（写操作），有些专门负责介绍菜单（读操作），这样不会造成混乱。

示例：Node + Sequelize 实现读写分离

const { Sequelize } = require('sequelize');

const sequelize = new Sequelize({
  dialect: 'mysql',
  replication: {
    read: [
      { host: 'localhost', username: 'user', password: 'pass', database: 'read_db' }
    ],
    write: {
      host: 'localhost', username: 'root', password: 'pass', database: 'write_db'
    }
  }
});

6. 异步 & 异步队列（Task Queue）

异步指的是：有些事情可以慢慢做，不用马上完成。比如下单后发邮件通知、生成报表等。

我们可以用 Kue（Redis Queue） 或者 BullMQ 来实现任务队列。

示例：发送邮件任务加入队列

const Queue = require('bull');
const emailQueue = new Queue('email queue', 'redis://127.0.0.1:6379');

// 添加任务
emailQueue.add({
  to: 'user@example.com',
  subject: '欢迎注册',
  body: '感谢注册我们的服务'
});

// 处理任务的工作线程
emailQueue.process(async (job) => {
  console.log('正在发送邮件给:', job.data.to);
  // 这里调用实际的发送邮件逻辑
});

实战项目：构建一个支持高并发的文章浏览系统

我们要开发一个类似知乎或者掘金的文章页面系统，支持高并发访问。

第一步：创建基础服务

安装 Express 和 Redis 客户端

npm install express redis mysql2 sequelize

创建 `server.js`

const express = require('express');
const app = express();
const port = 3000;

app.get('/', (req, res) => {
  res.send('Hello 高并发世界！');
});

app.listen(port, () => {
  console.log(`服务运行在 http://localhost:${port}`);
});

运行：

node server.js

第二步：添加数据库支持

我们在 models/article.js 中定义模型：

const { DataTypes } = require('sequelize');
module.exports = (sequelize) => {
  return sequelize.define('Article', {
    title: DataTypes.STRING,
    content: DataTypes.TEXT
  });
};

入口文件加载数据库：

const express = require('express');
const { Sequelize } = require('sequelize');
const ArticleModel = require('./models/article');

const app = express();

const sequelize = new Sequelize('my_blog', 'root', 'password', {
  host: 'localhost',
  dialect: 'mysql'
});

const Article = ArticleModel(sequelize);

// 初始化数据库
sequelize.sync().then(() => {
  console.log('数据库同步完成');
});

app.get('/articles', async (req, res) => {
  const articles = await Article.findAll();
  res.json(articles);
});

第三步：加入缓存机制（Redis）

我们来优化 /articles/:id 这个接口，先查 Redis 再查数据库：

const redis = require('redis');
const client = redis.createClient();

app.get('/articles/:id', async (req, res) => {
  const id = req.params.id;

  client.get(`article:${id}`, async (err, data) => {
    if (data) {
      return res.json(JSON.parse(data));
    }

    const article = await Article.findByPk(id);
    if (!article) return res.status(404).send('文章不存在');

    await client.setex(`article:${id}`, 60, JSON.stringify(article));
    res.json(article);
  });
});

第四步：压力测试

我们可以使用 Artillery.io 做简单的压力测试。

安装 Artillery

npm install -g artillery

创建测试脚本 `load.yaml`

config:
  target: "http://localhost:3000"
  phases:
    - duration: 30
      arrivalRate: 1000 # 每秒发起1000次请求

scenarios:
  - flow:
      - get:
          url: "/articles/1"

运行测试：

artillery run load.yaml

你可以观察系统在高并发下表现如何，比如响应时间、失败率等。

常见问题解答（FAQ）

✅ 1. “我写的程序单机都能跑，为啥一并发就不行？”

可能原因：

没有使用缓存
数据库未优化（如无索引、长事务）
同步阻塞操作过多（如每次都要等待数据库返回结果）
使用了单线程模型（如 Node.js 默认只有一个主线程）

建议解决方案：

加 Redis 缓存常用数据
数据库加索引
引入异步队列处理耗时操作
用 PM2 启动集群模式（Node.js）

✅ 2. “用了 Nginx 负载均衡，为什么还是慢？”

可能是：

每台服务器配置太低
没有开启缓存或压缩
数据库没做读写分离，压力集中到了 DB 层

优化方向：

增加服务器节点
给静态资源启用 CDN
做好数据库拆分

✅ 3. “测试时 QPS 只有几十，远低于预期”

可能是瓶颈出现在：

数据库查询效率低
单线程限制（如 Node.js 主线程繁忙）
Redis 设置过期时间不合理，导致频繁重建缓存

解决思路：

使用多线程或多进程架构（如 Node Cluster）
使用连接池管理数据库和 Redis 连接
调整 Redis 缓存策略（如使用 LRU 替换算法）

学习建议：下一步该学什么？

高并发技术涵盖面很广，以下是建议的学习路径：

🧱 第一阶段：打好地基（已掌握）

HTTP 协议原理
Node.js/Express 基础
Redis 基础操作
MySQL 基础与优化

🔁 第二阶段：进阶技能

异步编程（Promise、async/await）
使用消息队列（如 RabbitMQ、Kafka）
负载均衡 + 微服务架构初步认识
数据库主从复制、分库分表

☁️ 第三阶段：云原生与性能优化

Docker 容器化部署
Kubernetes 集群调度
分布式缓存与一致性哈希
分布式锁实现（如 Redlock）

结语：坚持练习才是王道

本篇文章带你完成了从零入门高并发系统的全过程。你可以试着将本文提到的实战项目跑通，并尝试扩展功能，比如加入登录认证、评论系统、分布式部署等内容。

记住一句话：

高并发不是一蹴而就的，是通过一点一点积累和优化出来的。

持续学习，持续优化，你的系统也一定能承载十万百万甚至千万级的访问！

💡 如果你喜欢这篇教程，欢迎收藏、转发，有问题也可以在评论区留言提问！

标签:实战经验开发心得GoGitHub

最热最新

暂无评论

为你推荐

暂无相关推荐

高并发系统设计：从理论到实践（新手友好教程）

开篇：高并发技术是做什么的？

环境准备：你需要的开发环境

1. 安装 Node.js（推荐使用 v20.x 或以上）

2. 安装 Redis（用于缓存）

3. 安装数据库（如 MySQL 或 PostgreSQL）

核心概念解析：什么是高并发？为什么要学它？

1. 并发 vs 并行

2. 请求量、吞吐量与响应时间

3. 负载均衡（Load Balancing）

4. 缓存（Cache）

示例：用 Redis 缓存热门文章内容

5. 数据库读写分离

示例：Node + Sequelize 实现读写分离

6. 异步 & 异步队列（Task Queue）

示例：发送邮件任务加入队列

实战项目：构建一个支持高并发的文章浏览系统

第一步：创建基础服务

安装 Express 和 Redis 客户端

创建 `server.js`

第二步：添加数据库支持

第三步：加入缓存机制（Redis）

第四步：压力测试

安装 Artillery

创建测试脚本 `load.yaml`

常见问题解答（FAQ）

✅ 1. “我写的程序单机都能跑，为啥一并发就不行？”

✅ 2. “用了 Nginx 负载均衡，为什么还是慢？”

✅ 3. “测试时 QPS 只有几十，远低于预期”

学习建议：下一步该学什么？

🧱 第一阶段：打好地基（已掌握）

🔁 第二阶段：进阶技能

☁️ 第三阶段：云原生与性能优化

结语：坚持练习才是王道

评论 0

为你推荐

精选内容

高并发系统设计：从理论到实践（新手友好教程）

开篇：高并发技术是做什么的？

环境准备：你需要的开发环境

1. 安装 Node.js（推荐使用 v20.x 或以上）

2. 安装 Redis（用于缓存）

3. 安装数据库（如 MySQL 或 PostgreSQL）

核心概念解析：什么是高并发？为什么要学它？

1. 并发 vs 并行

2. 请求量、吞吐量与响应时间

3. 负载均衡（Load Balancing）

4. 缓存（Cache）

示例：用 Redis 缓存热门文章内容

5. 数据库读写分离

示例：Node + Sequelize 实现读写分离

6. 异步 & 异步队列（Task Queue）

示例：发送邮件任务加入队列

实战项目：构建一个支持高并发的文章浏览系统

第一步：创建基础服务

安装 Express 和 Redis 客户端

创建 server.js

第二步：添加数据库支持

第三步：加入缓存机制（Redis）

第四步：压力测试

安装 Artillery

创建测试脚本 load.yaml

常见问题解答（FAQ）

✅ 1. “我写的程序单机都能跑，为啥一并发就不行？”

✅ 2. “用了 Nginx 负载均衡，为什么还是慢？”

✅ 3. “测试时 QPS 只有几十，远低于预期”

学习建议：下一步该学什么？

🧱 第一阶段：打好地基（已掌握）

🔁 第二阶段：进阶技能

☁️ 第三阶段：云原生与性能优化

结语：坚持练习才是王道

评论 0

为你推荐

相关推荐

精选内容

创建 `server.js`

创建测试脚本 `load.yaml`