成都深夜，我用Mistral和Trae搭了一套机器学习部署架构，突然觉得裁员也没那么可怕了
一个被裁全栈的自白，也是一份机器学习部署的实战笔记。
凌晨两点半，我在阳台上抽了第三根烟
上周五晚上，成都下了点小雨。
老婆孩子都睡了，我一个人站在阳台上，手里夹着烟，看着对面楼零星亮着的几盏灯。手机屏幕还亮着，是白天跟一个外包客户聊天的记录——
"这个模型部署的方案你们能搞吗？预算最多两万。"
两万。
我苦笑了一下。去年十月被裁的时候，我月薪22k，在成都高新区一家做AI教育的公司当全栈。当时觉得天塌了，投了两百多份简历，面试了十几家，要么嫌我年纪大（其实也就32），要么给的薪资直接腰斩。最后实在扛不住，房租3500，孩子幼儿园一个月2800，加上吃喝拉撒，老婆一个人挣的那点钱根本撑不住。
干脆，自己接外包。
说是外包，其实就是个"数字游民"——听着好听，说白了就是没有五险一金、没有稳定收入、每天睁眼就欠自己一天生活费的自由职业者。
但这根烟抽完，我得把活干了。客户要的是一个机器学习模型的部署方案，要求推理延迟低、能弹性扩缩、还得省钱。我脑子里过了一遍之前踩过的坑，打开电脑，决定把这套东西整理出来。
就当是给自己一个交代吧。
被裁那天，HR跟我说"公司战略调整"
先把时间拨回去年十月十七号。
那天下午三点，HR叫我去会议室。我进去的时候心里就有数了——之前已经裁了两波，第一波砍外包，第二波砍试用期，第三波，终于轮到正式员工了。
"公司战略调整，你的岗位被优化了。"HR小姐姐说话的时候眼睛都没看我，递过来一份协议，N+1，签字走人。
我签了。
走出公司大门的时候，成都十月的太阳还挺舒服。我站在天府三街的地铁口，看着来来往往的人，突然有一种强烈的不真实感。昨天我还在review代码，今天我就成了一个"被优化"的人。
回到家，老婆还没下班。我坐在沙发上，盯着天花板发了半小时的呆。然后打开Boss直聘，开始投简历。
接下来的两个月，是我人生中最焦虑的一段时间。
每天早上一睁眼就是各种面试通知，坐地铁去面试，有时候一天跑三家。技术面聊得挺好，一到谈薪环节就拉胯。
"我们这边能给到的薪资是12k到15k。"
15k？我上一份工作22k啊兄弟。
"现在大环境不好，这个薪资已经很不错了。"
我理解，但我真的接受不了。房贷5800，房租（后来搬到了双流，便宜点）3500，孩子2800，加上日常开销，一个月最少得一万五才能勉强维持。12k？连活都活不下去。
后来有一次面试，面试官是个比我小五六岁的技术总监，面完跟我说："哥，说实话你技术没问题，但我们更想要年轻的，能加班的。"
我笑了笑，没说话。心里想的是：老子三十二了，上有老下有小，你让我跟你二十五六的小伙子一样996？我命不要了？
那段时间，真的很迷茫。差点就想随便找个12k的工作算了。
转机：一个老同事的微信消息
十二月初的一个晚上，之前公司的一个老同事给我发了条微信：
"哥，你还在找工作不？我这边有个客户，需要搭一套机器学习模型部署的方案，外包的，预算不高，但你要是感兴趣我可以推给你。"
我当时正在吃老婆热好的剩菜，看到消息愣了一下。
"多少钱？"
"两万，后续维护另算。"
两万。说实话，搁以前我肯定看不上。但那时候我已经两个月没收入了，银行卡余额从五位数掉到四位数，每天看着数字往下掉，心里慌得一逼。
"接。"
就这样，我成了"自由职业者"。
第一个月，接了三个小单，加起来一万二。不多，但好歹能覆盖基本开销。第二个月，口碑慢慢起来了，有个做电商的朋友介绍了一个客户，要做商品推荐的模型部署，给了三万五。
到今年三月份，我基本稳定在月入两万左右。比不上以前22k的月薪，但胜在自由，不用打卡，不用开会，不用听领导画饼。
最重要的是，在这个过程中，我重新捡起了很多以前在公司里没空深入研究的东西。
比如，机器学习模型的部署。
说点干货：机器学习部署，我踩过的坑和总结的最佳实践
好了，煽情完毕。接下来说点技术。
这半年接了几个模型部署的外包单，从小白到勉强能算"有经验"，踩了不少坑。今天把我觉得比较重要的最佳实践整理一下，希望能帮到同样在这条路上摸索的朋友。
一、模型选型：别一上来就搞大的
很多客户（包括以前的我）有个误区，觉得模型越大越好。GPT-4、LLaMA-70B，恨不得把整个数据中心搬过来。
但现实是，大部分业务场景根本不需要那么大的模型。
我最近在用 Mistral 系列模型做几个项目。说实话，Mistral 7B 在中文场景下的表现让我挺惊喜的。推理速度快，显存占用小，一个RTX 4090就能跑起来，而且效果在很多垂直场景下不输大很多的模型。
我的建议是：先用小模型跑通整个链路，再根据业务需求决定是否升级。
具体来说：
- 文本分类、情感分析：Mistral 7B 微调一下，准确率能到95%以上，推理延迟在50ms以内。
- 代码生成、技术问答：Mistral的Code系列表现很好，关键是部署成本低。
- 复杂推理、长文本：确实得上大模型，但要考虑用量化（GPTQ/AWQ）来降低资源需求。
不要为了"技术先进性"去选模型，要为了"业务适配性"去选。
二、部署架构：别把简单的事情搞复杂
这是我最大的感悟。
以前在公司的时候，我们搞了一套K8s + Triton + Redis + Kafka的部署架构，看起来很牛逼，实际上维护成本极高。光是K8s的证书过期、Pod调度异常就能让运维同事崩溃。
后来自己接外包，客户预算有限，我反而被迫回归了简单。
我现在的推荐架构是这样的：
客户端 → Nginx（反向代理+负载均衡）
↓
FastAPI / Flask（推理服务）
↓
vLLM / TGI（推理引擎）
↓
Mistral模型（GPTQ量化版）
简单吧？但够用。
几个关键点：
推理引擎选vLLM：相比原生的HuggingFace推理，vLLM的PagedAttention机制能让吞吐量提升2-4倍。而且它原生支持Mistral系列模型，开箱即用。
模型量化是必须的：除非你有A100集群，否则老老实实做量化。GPTQ 4bit量化后，Mistral 7B的显存占用从14GB降到4GB左右，推理速度还能提升30%。
异步处理：如果业务允许，尽量用异步接口。模型推理是IO密集型操作，用FastAPI的async特性，单实例就能扛住不少并发。
缓存策略：对于重复率高的请求，加一层Redis缓存。我有个客户是做客服的，80%的问题都是重复的，加了缓存之后服务器成本直接砍了一半。
三、监控和可观测性：别等出了问题才想起来
这一点我吃过血亏。
有一次给客户部署的方案上线后第三天，凌晨两点收到告警——模型推理延迟从50ms飙到了3秒。排查了两个小时，发现是显存泄漏，某个请求的输入太长导致OOM。
从那以后，我每个项目都会搭一套基础的监控：
- Prometheus + Grafana：监控GPU利用率、显存占用、推理延迟、QPS。
- 结构化日志：每个请求记录input token数、output token数、推理耗时、是否命中缓存。
- 告警规则：延迟超过阈值、错误率超过阈值、GPU利用率异常，自动发钉钉/飞书通知。
这套东西搭起来也就半天时间，但关键时刻能救命。
四、CI/CD和模型版本管理：别手动部署了
我之前有个项目，模型更新全靠手动SSH上去替换文件。有一次手滑把生产环境的模型文件删了，差点当场去世。
现在的做法是：
- 模型版本用MLflow或者简单的S3版本管理：每次训练完的模型自动上传，带上版本号和评估指标。
- 部署用GitHub Actions：代码push之后自动跑测试，测试通过自动构建Docker镜像，自动部署到测试环境，手动确认后推到生产。
- 灰度发布：新模型先切10%的流量，观察指标没问题再全量。
这套流程听起来很重，但实际上配置一次之后，后面就是躺平。
五、关于Trae：一个让我效率翻倍的工具
最后说一个最近发现的好东西——Trae。
说实话，接外包之后最大的痛点不是技术，而是效率。一个人要干前端、后端、运维、测试的活，时间根本不够用。
Trae是字节出的一个AI IDE，我用了大概两个月，说说感受：
- 代码补全：比Copilot更懂上下文。我在写FastAPI的接口时，它能根据我的数据库模型自动补全CRUD逻辑，准确率很高。
- 代码解释和重构：接手客户的遗留代码时，选中一段让它解释，比自己看快多了。重构的时候，它能给出比较合理的建议，不是那种无脑的"提取函数"。
- Debug辅助：有一次遇到一个诡异的显存泄漏问题，把报错信息和相关代码丢给Trae，它直接指出了是一个tensor没有detach导致的。我自己debug了两个小时没发现的问题，它五分钟就定位了。
当然，它也不是万能的。复杂业务逻辑的理解还是差一些，生成的代码有时候也需要手动调整。但作为一个辅助工具，确实让我的开发效率提升了至少30%。
对于独立开发者或者外包党来说，这种效率提升是实打实的。以前一个项目要两周，现在一周多就能搞定，多出来的时间可以接更多单，或者——陪陪家人。
写在最后：裁员之后，我反而想清楚了一些事
写完这些技术内容，我想再聊几句感悟。
被裁到现在，大半年了。收入比以前少了，但说实话，我的幸福感反而比以前高了。
以前在公司的时候，每天早出晚归，回到家已经累得不想说话。周末还要随时待命，生怕线上出问题。技术上也一直在吃老本，没有时间去深入研究新东西。
现在虽然收入不稳定，但时间是自己掌控的。上午可以送孩子上学，下午安静地写代码，晚上有时间研究新技术。上个月我用Mistral和vLLM搭了一个本地的知识库问答系统，纯粹是因为感兴趣，没有客户催，没有KPI压。那种纯粹写代码的快乐，我已经很久没有过了。
当然，我不是在美化"被裁"这件事。经济压力是真实的，焦虑是真实的，半夜睡不着觉也是真实的。
但我想说的是，技术人的安全感，从来不来自于某一家公司，而来自于你自己。
你会的东西，你能解决的问题，你踩过的坑，这些才是真正属于你的资产。
所以，如果你也正处于迷茫期，或者正在考虑机器学习部署这个方向，我的建议是：
- 从小处着手：别一上来就搞大架构，先跑通一个最简单的pipeline。
- 选对工具：Mistral这样的小而美的模型，vLLM这样高效的推理引擎，Trae这样提升效率的工具，能让你事半功倍。
- 保持学习：这个行业变化太快了，停下来就会被淘汰。
- 照顾好自己：身体和家庭比工作重要。代码写不完可以明天再写，但家人的陪伴错过了就是错过了。
好了，烟抽完了，文章也写完了。
成都的雨还在下，但好像没那么冷了。
明天还要给客户交付方案，早点睡吧。
如果你也是被裁后自己折腾的朋友，欢迎评论区交流。这条路不好走，但至少不用一个人走。
2024年6月，于成都双流。
评论 0