为什么技术探索与实践？一个35岁成都码农的爬虫、SpringBoot和求职实录

去年十月的一个深夜，我瘫在出租屋那张吱呀作响的电竞椅上，盯着屏幕里一行行报错的日志，心里直发毛。

窗外是成都温江安静的夜，楼下烧烤摊的喧嚣早已散去。老婆在隔壁房间熟睡，而我还在为一个该死的反爬机制掉头发——是的，我又在“偷偷”搞副业了。

月薪15k，在成都听起来还行，但刨去3500的房租、2000的房贷、娃的奶粉钱和各种生活开销，月底银行卡余额常常让我怀疑人生。更扎心的是，上周五HR找我谈话：“老张啊，你这年纪，也该考虑转管理了……技术岗留不住太久。”

我苦笑了一下，没说话。转管理？我连带实习生都嫌麻烦，只想安安静静写代码。可现实摆在眼前：35岁，一线编码，工资涨不动，技术栈还是三年前那一套。再不折腾点新东西，怕是要被“优化”到送外卖了。

---

起因：一个爬虫项目，点燃了“不安分”的火苗

事情得从一个朋友的求助说起。他开了家小电商公司，想抓点竞品价格数据做分析，问我能不能帮忙。我说：“小case，Python写个爬虫，三天搞定。”

结果第一天就翻车了。

对方网站加了动态JS渲染+IP频控+验证码三重防御。我用requests + BeautifulSoup写了半天，抓回来全是“请开启JavaScript”或者空页面。那一刻我真想把键盘砸了——不是技术不行，是我太久没碰新东西了。

以前觉得爬虫就是urllib + xpath，现在早就不是那个年代了。Selenium太慢，Scrapy配置又复杂，还得处理代理池、User-Agent轮换、Cookie持久化……我坐在电脑前，突然意识到：我的技术，已经“锈”了。

老婆看我愁眉苦脸，递来一杯茶：“又卡住了？要不别搞了，反正也不靠这个吃饭。”

我摇摇头：“不行，这不只是帮朋友。这是我的‘技术体检’。”

---

技术选型对比：爬虫框架哪家强？

为了搞清楚到底该用啥工具，我花了整整两天时间做技术调研。以下是我在几个主流方案之间的纠结和对比：

1. Requests + BeautifulSoup（传统组合）

• ✅ 简单、轻量、学习成本低
• ❌ 无法处理JS渲染页面，面对现代Web应用基本废了
• 🎯 适合静态页面、内部系统数据导出等场景

我一开始就是栽在这上面。现在90%的电商网站都用Vue/React动态加载，光靠解析HTML根本拿不到真实数据。

2. Selenium + WebDriver

• ✅ 能完美模拟浏览器行为，JS照吃不误
• ❌ 启动慢、资源消耗大、并发难做
• 🎯 适合需要登录、点击、滚动等复杂交互的场景

我试了，跑一个任务CPU直接飙到80%，而且每秒只能处理2-3个请求。朋友要抓几万条数据，按这速度得跑好几天。

3. Scrapy + Splash（或 Playwright）

• ✅ 高性能、支持异步、可扩展性强
• ❌ 配置复杂，调试门槛高，需要额外部署渲染服务
• 🎯 适合中大型爬虫项目，有运维能力的团队

我差点上手Scrapy，但想到自己只是“兼职”搞，维护成本太高，果断放弃。

4. Playwright / Puppeteer（新兴王者）

• ✅ 微软出品，快、稳、支持多语言（包括Java！）
• ✅ 内置自动等待、截图、PDF生成等高级功能
• ✅ 支持Headless模式，资源占用比Selenium低很多
• 🎯 个人认为是目前最平衡的选择

最关键的是——Playwright有Java版！

作为一个SpringBoot老用户，我突然灵光一闪：能不能用Java全家桶搞定整个爬虫+后端服务？

---

转折点：把爬虫塞进SpringBoot

说干就干。我决定不用Python，而是用 SpringBoot + Playwright for Java 来重构这个爬虫项目。

为什么？理由很现实：

1. 技术栈统一：公司项目全用SpringBoot，我熟悉它的依赖注入、配置管理、日志体系。出了问题我能快速排查。
2. 便于集成：爬下来的数据可以直接存MySQL，通过REST API暴露给前端，甚至加个定时任务自动更新——一套代码全搞定。
3. 简历加分：面试官看到“基于SpringBoot构建分布式爬虫系统”，总比“用Python写了点脚本”听起来高大上吧？

于是我熬夜啃文档，踩坑无数：

• Playwright在Linux服务器上跑需要安装额外依赖（fonts、libxshmfence等），差点把我劝退；
• SpringBoot启动时初始化Playwright实例，结果内存爆了，后来改成@PostConstruct懒加载才解决；
• 代理IP池怎么动态切换？最后用AOP + ThreadLocal实现了请求级别的代理隔离。

但最爽的是——整个系统跑通那天，我感觉自己又“活”过来了。

不是因为技术多牛，而是那种“我能掌控它”的感觉回来了。就像当年第一次用SSH连上服务器，第一次写出能跑的MVC框架一样。

---

求职：技术探索真的有用吗？

今年三月，我开始悄悄投简历。

不是因为想跳槽，而是想看看市场还“认不认”我这种老码农。

第一轮面试，一家做数据服务的创业公司。技术面聊到爬虫，我直接掏出自己的SpringBoot项目架构图：

“我用Playwright做渲染层，Redis缓存代理IP状态，RabbitMQ做任务队列，失败自动重试三次，数据入库前用Hibernate Validator做清洗……”

对面CTO眼睛一亮：“你这设计，比我们现在的Python脚本强多了。而且全Java栈，接入我们现有系统零成本。”

谈薪时，HR试探性问：“期望多少？”

我深吸一口气：“22k。”

她愣了一下，笑着说：“行，给你23k，下周一能入职吗？”

回家路上，我给老婆发了条微信：“成了，涨了7k。”

她回了个“🎉”，然后补了一句：“那今晚火锅？”

我说：“必须的，毛肚黄喉安排上！”

---

为什么我坚持技术探索与实践？

很多人说，35岁就该躺平，搞什么新技术？稳定最重要。

但我想说：稳定，从来不是“不改变”换来的，而是“能随时改变”的底气。

在成都这种二线城市，机会少、薪资天花板低，如果你不主动往前探一步，很容易就被困在“舒适区牢笼”里——每天CRUD，每年调薪5%，直到某天发现年轻人用新技术把你干掉。

技术探索不是为了当极客，而是为了保持选择权。

• 我学Playwright，不是为了成为爬虫专家，而是证明自己还能学新东西；
• 我用SpringBoot整合它，不是炫技，而是让技术栈形成合力，提升交付效率；
• 我接私活、做实验，不是为了赚外快，而是保持对代码的“手感”。

就像健身，你不练，肌肉就萎缩。程序员的手感，也是练出来的。

---

给同行的一点建议

如果你也在30+，坐标二线，工资卡在15k~20k区间，不妨试试：

1. 选一个真实问题下手
   别一上来就想“学微服务”“搞K8s”。从你工作中遇到的痛点出发，比如报表慢、数据不准、自动化缺失——用新技术解决它。

2. 优先选择能融入现有体系的技术
   如果你主攻Java，就别硬转Go；如果公司用Vue，就先深耕前端工程化。增量式创新，比推倒重来更可持续。

3. 把项目变成你的“作品集”
   GitHub别只放LeetCode。一个完整的、有业务价值的小系统，比十个Demo更有说服力。面试时甩出链接，HR都得多看你一眼。

4. 别怕“用错”技术
   我当初也纠结过：Playwright是不是太重？Scrapy是不是更专业？但实践告诉我：能跑起来、能解决问题的方案，就是好方案。

---

结语：在温江的夜里，继续敲代码

现在，我已经在新公司干了两个月。工资涨了，技术栈也更新了。更重要的是，我重新找回了那种“写代码能改变点什么”的感觉。

昨天晚上，我又在改那个爬虫项目——这次是为了抓招聘网站的职位数据，分析成都Java岗位的技术要求趋势。老婆笑我：“你咋还跟自己较上劲了？”

我说：“这不是较劲，是自救。”

在这个AI都能写代码的时代，我们这些老程序员唯一的优势，就是理解业务、解决问题、持续进化。

技术探索不是奢侈，而是生存必需。

所以，别问“为什么还要学新东西”。

问问自己：如果明天失业，你有没有能力，用一行代码，为自己挣回一条路？

——
作者：老张，35岁，成都温江，一线Java程序员，房贷未还清，梦想是40岁前攒够首付换套大点的房子。目前仍在SpringBoot + Vue的深水区扑腾，偶尔写爬虫解闷。