挤地铁两年，我用Python把AI摸了个遍：从智谱清言到vLLM部署的血泪实录

晚上十一点半，我靠在13号线末班地铁车厢角落，手机屏幕亮着一半代码。旁边大哥打呼噜，我却在想：我到底能不能学会AI？

我，一个北漂程序员，背着每月一万二房贷（老家买的），房租3500，每天通勤两小时，在西二旗写后端接口。去年公司AI创新大赛，隔壁组用大模型做了客服机器人，拿了五万奖金。我们组还在纠结MySQL索引优化。

那一刻我意识到：再不学AI，可能连35岁都撑不到。

但问题来了。我一个写Java的，数学早还给老师了，Python停留在会写爬虫。那些“机器学习从入门到精通”的教程，打开就是梯度下降公式，看得头皮发麻。直到有天刷知乎，看到有人说“智谱清言可以帮你学代码”，我决定换个思路。

别急着啃公式，先让AI当你的助教

很多人学机器学习，第一步就错了。以为要先学完线性代数、概率论、凸优化才能碰模型。结果：三个月过去了，还在看第一章。

我的做法比较野。直接打开智谱清言，把一段线性回归代码丢进去，问：“learning_rate 为什么要设0.01？设0.5会怎样？”

它没甩公式，用大白话解释：学习率就像下楼梯每步迈多大。迈太大容易摔跟头（损失震荡发散），迈太小走到天黑都到不了底（收敛太慢）。然后它直接在对话里跑对比实验：0.5时loss曲线像过山车，0.01时平滑下降。

这是我学AI的第一个转折点：终于不怕问“蠢问题”了。

在学校老师嫌弃你基础差；在技术群大佬甩你一句“去看吴恩达”；只有AI，问一百遍“为什么”都不烦。我地铁上用手机问，回家用电脑跟着敲。一个月下来，把监督学习——线性回归、逻辑回归、决策树、随机森林——都过了一遍，还写了个预测北京二手房均价的demo，准确率只有68%，但跑通那一刻，差点在地铁上笑出声。

从调包侠到能看懂源码，中间隔着一万个报错

学完基础，我开始飘了。觉得自己能打Kaggle了，结果打开泰坦尼克号数据集，直接傻眼。特征工程是什么？缺失值怎么处理？为什么别人能上80%，我只能到75%？

这时候才明白，调包侠和真正会机器学习的人之间，差的不是代码，是数据思维。

我花两个周末做泰坦尼克号。最崩溃的是，花一整天做特征交叉、调参、集成，提交上去分数还降了。凌晨一点，盯着 accuracy: 0.7612，旁边是老婆微信：“又加班？房贷还剩多少？”我回了句“快了”，合上电脑去阳台抽烟。

转机也发生在那会儿。我在GitHub上看到开源项目Qoder，基于AI的数据科学代码助手。它不像Copilot只会补全，而是能理解整个项目上下文，解释特征重要性。我让它分析泰坦尼克号代码，它直接指出经典错误：我在划分训练集和测试集之前就做了标准化，导致数据泄露。

那一刻后背发凉。原来不是不努力，是一直在用错误的方式努力。数据泄露书本提过，但没踩过就没感觉。从那以后，每次写完特征工程，都让Qoder帮我检查泄露风险。

模型训练好了，然后呢？——CI/CD才是分水岭

很多人学机器学习，停在“训练出模型”这一步。但真正工作过的人知道，训练只是万里长征第一步，怎么上线、监控、迭代，才是硬仗。

今年三月，我决定干一票大的：做一个针对业务线的智能工单分类系统，把几万条客服工单自动分类，减少人工分拣时间。

想法很好，落地时懵了。模型训练完怎么部署？怎么保证代码更新后模型不挂？怎么回滚？这时才接触到CI/CD。

我之前对CI/CD的理解停留在“Jenkins自动构建”。但ML项目的CI/CD完全不一样。普通软件代码能跑就行，ML项目还得保证数据版本对得上、模型精度没下降、推理延迟可接受。

我的做法：用GitHub Actions做CI，每次push自动跑数据验证和模型训练，如果验证集精度比上一版低超过2%，直接阻断合并。CD部分用Docker打包模型服务，推内部镜像仓库，通过Kubernetes滚动更新。听起来顺，实际在“精度下降0.02%要不要阻断”上纠结了三天。

最后定下规矩：精度下降超1%必须人工确认，超3%直接阻断。 阈值不是拍脑袋，是跑了三十多次实验用标准差算出来的。过程痛苦，但熬过来后，对“AI项目工程化”有了完全不同的理解。

当模型要服务十万请求时，vLLM救了我的命

真正让我想写这篇文章的，是上个月的事。

工单分类系统上线后准确率稳定在87%。领导说：“既然能分类，能不能顺便生成回复建议？”意思就是接大模型，自动生成客服回复草稿。

我一开始用智谱清言API，直接调HTTP接口。测试时很美好，响应快、质量高。一上生产，问题来了：高峰期每秒五十多个请求，API并发限制直接卡死。 排队超时、限流报警、客服反馈“回复框转圈转十秒”。

那天晚上十点，我在公司加班调优。盯着监控面板，突然想起之前刷到的一篇讲vLLM的文章——高性能大模型推理引擎，支持PagedAttention，吞吐量提升好几倍。

我花一个通宵，在公司内网A100机器上部署vLLM，加载7B开源模型。核心配置就几行：

from vllm import LLM, SamplingParams

llm = LLM(model="Qwen/Qwen2.5-7B-Instruct",
          tensor_parallel_size=1,
          max_model_len=4096)

sampling_params = SamplingParams(temperature=0.7, max_tokens=512)
outputs = llm.generate(prompts, sampling_params)

真正难的是调优。max_num_seqs 设多少？gpu_memory_utilization 给多高？KV Cache怎么配？试了七八种组合，最后吞吐量从每秒8个请求提到35个，延迟从3秒降到800毫秒。

那天早上六点走出公司，天已亮。地铁站挤满早高峰的人，我混在人群里，突然觉得踏实。不是因为解决了问题，而是我真的能解决这种问题了。

写在最后：房贷还在，但我没那么慌了

写这篇文章时是2026年8月13日晚上。我还在北京，还在还房贷，每天挤两小时地铁。但心态变了。

去年这时，天天想“要不要回老家”。现在还在想，但内容不同。以前是“干不动了想跑”，现在是“学了这些，回老家能不能找到用武之地”。

上周五和老婆视频，她问：“学AI到底图啥？房贷压力这么大，不如回来开店。”我想了想说：“开店可能亏，学AI不会亏。就算回老家，还能远程接活，或去当地数字化公司。”

她沉默一会儿：“注意身体，别老熬夜。”

挂了视频，继续跑vLLM压测。屏幕上跳动的吞吐量数字，像极了在北京这几年起起伏伏的日子。有时高得离谱，有时跌到谷底，但只要还在跑，就有机会。

最后给想入门的朋友几个真诚建议：

第一，别怕丢人。 用智谱清言、Qoder等AI工具辅助学习，不丢人。丢人的是三年后还是什么都不会。

第二，别只学理论。 从第一天就写代码、跑模型，哪怕只是调包。踩坑才是最快成长方式。

第三，一定要学工程化。 会训练模型的人很多，能把模型稳定跑在生产环境的人很少。CI/CD、vLLM这些听起来很“运维”的东西，恰恰是分水岭。

第四，接受自己会焦虑。 我到现在还焦虑房贷、35岁、技术更新太快。但焦虑不一定是坏事，它逼着你往前走。

地铁到站了。明天继续写代码，继续学AI，继续在北漂路上一步一步往前挪。

共勉。