老码农的爬虫实战：为了简历能写点新东西，我差点被反爬干趴下
上周五晚上九点半，办公室只剩我和运维小哥还在。他蹲在机房门口啃煎饼果子，我在工位上一边听着 Radiohead 的《No Surprises》，一边盯着屏幕上一行又一行 403 Forbidden 报错——那一刻我真的想把 Macbook 合上直接走人。
但转念一想，自己马上奔四了，简历上除了“熟练使用 Spring Boot”、“熟悉微服务架构”之外，连个像样的技术亮点都没有。HR 看到这种简历估计以为我是外包公司的老油条。所以咬咬牙，还是得搞点新东西：爬虫，这个听起来很土但实则暗藏玄机的技术。
为什么是爬虫？别笑，真不是为了抓妹子数据
其实这事源于上个月团队复盘会。我们做的是电商比价系统，产品经理突然甩过来一句：“竞品的价格更新太快了，能不能实时抓一下他们的 SKU 价格？” 我一听就头皮发麻——这不就是典型的爬虫需求吗？但公司一直用的是第三方数据接口，贵得要死不说，延迟还高。领导拍板：“你们技术团队试试自己搞一个，成本低点。”
行吧，那就搞。反正我也正琢磨跳槽的事儿，趁这个机会折腾点新技术，至少简历上能写“主导设计高可用分布式爬虫系统”，听起来是不是立马高级了不少？
别拿 requests 当神器，现实比文档残酷得多
一开始我以为这事很简单：Python + requests + BeautifulSoup，三件套搞定。毕竟大学那会儿就靠这组合抓过豆瓣电影 Top250，还能顺手分析下评分分布，发个朋友圈装个X。
结果现实狠狠打了我的脸。
目标网站是个头部电商平台，前端渲染全靠 React，首屏加载完之后还要等一堆 JS 执行完才能看到真实价格。更恶心的是，它用了动态 token 防爬——每次请求都要带一个从 JS 里算出来的 x-token，而且这个 token 过期时间只有 30 秒。我试着手动逆向，发现它混用了 WebAssembly 和混淆过的 JS，看得我直呼“退钱”。
“你这是要逼我学逆向工程啊？”
——我在 Slack 上给安全组同事发消息时的原话
更惨的是，我本地跑得好好的脚本，一部署到测试环境就被封 IP。运维小哥一脸无辜：“你这 IP 半小时发了 5000 个请求，人家不封你封谁？”
架构升级：从玩具脚本到生产级系统
痛定思痛，我意识到不能再用“学生党式”思维搞生产系统了。于是花了两天时间重新设计架构：
- 调度层：用 Celery + Redis 做任务分发，避免单点过载
- 执行层：改用 Playwright 替代 requests，能完整执行前端 JS
- 代理池：接入付费动态代理服务，IP 自动轮换
- 解析层：结构化解析规则 + XPath + 正则兜底
- 存储层：写入 Kafka，下游消费进数仓
最关键的是加了 智能重试 + 动态延时 机制。比如检测到 403 就自动切换代理、延长下次请求间隔；遇到验证码就标记该 URL，后续走 OCR 识别流程（虽然准确率不高，但聊胜于无）。
# 简化版核心逻辑
import asyncio
from playwright.async_api import async_playwright
import random
async def fetch_price(url, proxy):
async with async_playwright() as p:
# 使用 stealth 插件绕过基础检测
browser = await p.chromium.launch(
proxy={"server": proxy},
args=["--disable-blink-features=AutomationControlled"]
)
context = await browser.new_context()
await context.add_init_script("delete navigator.__proto__.webdriver")
page = await context.new_page()
await page.goto(url, wait_until="networkidle")
# 等待关键元素出现（模拟真人等待）
await page.wait_for_selector(".price", timeout=10000)
price = await page.text_content(".price")
await browser.close()
return price.strip()
# 动态延时：避免固定频率被识别
async def smart_fetch(url):
delay = random.uniform(1.5, 4.2) # 模拟人类操作节奏
await asyncio.sleep(delay)
return await fetch_price(url, get_random_proxy())
这段代码看着简单，但背后踩的坑能写篇万字长文。比如 Playwright 在 Docker 里跑需要额外安装字体和依赖，否则页面渲染异常；再比如某些网站会检测鼠标轨迹，我们甚至得模拟随机移动（后来发现太耗资源就放弃了）。
性能对比：玩具 vs 工业级
我把新旧两套方案做了个对比，数据如下：
| 指标 | 旧方案 (requests+BS4) | 新方案 (Playwright+代理池) |
|---|---|---|
| 成功率 | 23% | 87% |
| 平均响应时间 | 0.8s | 3.2s |
| 单日最大抓取量 | ~5k | ~50k |
| 维护成本 | 低（但几乎不可用） | 中（需监控代理和验证码） |
| 反爬对抗能力 | 几乎为零 | 可应对基础 JS 渲染 & 动态 Token |
虽然速度慢了点，但能跑通才是王道。毕竟业务要的是稳定数据，不是极限性能。
简历怎么写？别光堆技术名词
现在这套系统已经跑了三个月，每天稳定抓取 4W+ 商品价格，支撑了我们的比价策略调整。上周产品还特意在周会上感谢了我们团队——虽然我知道他们下个需求肯定更离谱。
但重点来了：怎么把这事写进简历？
我见过太多人写“使用 Scrapy 框架开发分布式爬虫”，结果面试一问“怎么处理动态渲染？”、“如何应对 IP 封禁？”，当场哑火。
我的建议是：
- 突出业务价值：不是“写了爬虫”，而是“通过自研爬虫系统降低第三方数据采购成本 60%”
- 说明技术权衡：为什么选 Playwright 而不是 Selenium？为什么不用 Scrapy？
- 坦诚局限性：比如“当前验证码识别准确率仅 65%，计划引入打码平台提升”
毕竟，35 岁的老程序员，拼的不是你会多少框架，而是解决问题的思路和落地能力。
最后一点真心话
说实话，这次折腾让我重新找回了写代码的乐趣。虽然过程中无数次想骂娘，但每当看到 Kafka 里源源不断流入的干净数据，那种成就感是真的爽。
而且，技术探索从来不是为了炫技，而是为了解决真实问题。哪怕是个看起来很“脏”的爬虫，只要能创造价值，就值得认真对待。
下周我就要开始投简历了。希望 HR 看到“高可用反反爬虫系统设计与落地”这一行时，能多停留两秒。
对了，如果你也在折腾爬虫，欢迎交流。不过别找我要代理 IP 资源——那玩意儿真的烧钱，我上个月报销单被财务盯了好久……
P.S. 写完这篇文章时已经是凌晨一点，耳机里放着《Creep》。
突然想起刚入行那会儿，也是这样熬夜调 Bug。
时间过得真快，但至少，我还爱着这行。
评论 0