从简历解析到智能问答：我在中台折腾NLP的三年实战手记
上周五晚上十一点，我瘫在工位上盯着屏幕，心里只有一个念头：“这破需求真的要做？”产品经理又提了个新功能——让系统自动理解用户上传的简历内容，并结构化输出关键信息。听起来很酷，但deadline是下周一上线灰度。那一刻我真想把键盘砸了。
不过冷静下来想想，这事也不是第一次干了。我在这家公司技术中台待了三年多，主要负责各种“看起来高大上、实则要命”的智能化能力建设。比如去年双11前，我们搞了个客服对话摘要系统；今年年初又弄了内部知识库的语义搜索。说白了，就是给业务部门塞点AI能力，让他们觉得我们中台“很牛逼”。
而这些项目，绕不开一个核心：自然语言处理（NLP）。
今天这篇，不讲教科书式的理论，就聊聊我这几年从入门到进阶的真实踩坑路，尤其是怎么用现代工具链（比如Trae、DeepSeek这些国产新秀）把NLP项目真正落地的。
起点：从“简历解析”这种老掉牙的需求说起
很多人以为NLP是大模型时代才火的，其实不然。早在2021年，我们就接到HR部门的需求：每天收到几千份PDF/Word简历，人工筛太慢，能不能自动提取姓名、学校、工作经历？
当时团队里没人专门搞NLP，我这个Java后端被迫转岗“算法民工”。第一反应是：正则匹配+关键词抽取？结果发现简历格式千奇百怪，有人把“工作经验”写成“职场足迹”，还有人用艺术字排版。正则？直接GG。
后来用了spaCy + 规则模板组合，勉强跑通了MVP。但准确率只有65%，HR小姐姐天天来问：“为什么张三的工作年限识别成负数？”——因为有人写“2020至今”，我们没处理“至今”逻辑。
这就是传统NLP的痛点：规则脆弱，泛化差，维护成本高。
转机：拥抱预训练模型，但别盲目追新
2023年，随着ChatGPT爆火，公司也开始鼓励“AI赋能”。领导一句话：“你们中台要成为公司AI能力底座。”于是我们开始系统性升级NLP架构。
第一步是放弃手写规则，全面转向预训练语言模型。我们评估了BERT、RoBERTa、MacBERT等中文模型，在简历NER任务上，MacBERT（哈工大出品）效果最好，F1值从65%干到了89%。
但训练过程并不顺利。GPU资源紧张，测试环境只有两块V100，跑一次微调要8小时。有次半夜挂训练，第二天发现显存溢出，loss NaN——气得我在群里@运维：“能不能给点资源？我们不是在炼丹，是在救火！”
这时候，ChatGPT和Claude成了我的救命稻草。写数据清洗脚本？问Claude。调学习率？问GPT-4。甚至模型评估报告的措辞，都靠它们润色。虽然不能直接生成生产代码，但极大提升了开发效率。可以说，没有这些AI助手，我可能早就离职了。
进阶：轻量化部署与国产模型实战
模型效果好了，但上线又是另一回事。HR系统要求响应时间<500ms，而原始BERT推理要1.2秒。我们尝试了ONNX转换 + TensorRT加速，最终压到380ms，勉强过关。
但更大的挑战来了：合规与国产化。今年公司要求所有AI服务必须支持国产芯片和模型。于是我们开始调研国产大模型。
这里重点提两个工具：Trae 和 DeepSeek。
Trae（由深度求索推出）是个开发者友好的IDE插件，内置了对多个开源模型的支持。它最让我惊喜的是“上下文感知补全”——写PyTorch代码时，它能根据你加载的模型自动建议tokenizer或pipeline用法，省去了翻文档的时间。
DeepSeek 系列模型（特别是DeepSeek-Coder和DeepSeek-NLP）在中文场景表现不错。我们在内部知识库问答项目中，用DeepSeek-7B做意图识别+答案生成，效果比Llama2-7B中文微调版还要稳。关键是，它支持国产昇腾芯片部署，符合公司政策。
下面是我们对比几个模型在简历实体识别任务上的表现（测试集：1000份真实简历）：
| 模型 | F1 Score | 推理延迟 (ms) | 是否支持国产芯片 |
|---|---|---|---|
| BERT-base-chinese | 0.83 | 420 | 否 |
| MacBERT-large | 0.89 | 680 | 部分 |
| DeepSeek-NLP-1.3B | 0.87 | 290 | 是 ✅ |
| ChatGLM3-6B | 0.91 | 510 | 是 ✅ |
结论很明显：DeepSeek在速度和国产适配上赢了，虽然精度略逊于ChatGLM3，但对我们这种高并发场景更友好。
实战技巧：别只盯着模型，数据才是王道
很多人以为换更大模型就能提升效果，其实不然。去年我们有个惨痛教训：某次线上事故，是因为测试数据全是正规简历，但上线后遇到大量“花式简历”——比如用表格嵌套文字、图片转PDF带OCR噪声。
后来我们建立了对抗样本增强机制：用脚本自动生成“异常简历”，比如把“2020-2023”改成“二零二零至二零二三”，或者插入无关符号干扰。再配合主动学习，每周挑出模型置信度低的样本让人标，迭代优化。
另外，评估指标要贴近业务。F1值高不代表业务满意。比如HR更关心“工作年限是否准确”，而不是“技能标签有没有漏”。所以我们加了业务KPI监控：关键字段准确率 < 95% 就告警。
现在：站在跳槽边缘的反思
写到这里，其实有点感慨。这三年，从手写正则到玩转大模型，我确实学了很多。但公司节奏越来越卷，AI项目往往“重汇报、轻落地”，很多Demo做完就扔进仓库吃灰。
最近在看机会，也面了几家。发现市场对“懂业务+会调模型+能落地”的工程师需求很大。特别是能用Trae、DeepSeek这类新工具快速验证想法的人，很吃香。
如果你也想入坑NLP，我的建议是：
- 别一上来就啃Transformer论文，先用Hugging Face跑通一个pipeline；
- 学会用AI辅助开发，但保持批判思维，别让它替你思考；
- 关注数据质量，垃圾进=垃圾出，模型再强也救不了；
- 动手部署一次，哪怕只是Flask+Docker，理解线上瓶颈。
最后
NLP从来不是魔法，而是一堆脏活累活堆出来的工程艺术。简历解析也好，智能问答也罢，背后都是无数次的数据清洗、模型调参、线上回滚。
但当你看到系统自动把一份混乱的简历变成结构化JSON，HR小姐姐发来“太好用了！”的消息时，那种成就感，是真的爽。
至于我？可能下个月就提离职了。但在走之前，得把这个新版本的简历解析服务上线——毕竟，最后一棒，也要跑漂亮。
（完）
注：本文提到的技术方案均已在公司内部脱敏后使用，模型均为开源或合规商用版本。Trae和DeepSeek为实际采用工具，非广告。
评论 0