我在工位上摸鱼跑通了三个深度学习框架
最近准备考公,白天写业务,晚上刷行测,中间借调研公司知识库AI问答的机会,把Langflow、腾讯混元和几个AI编程工具跑了一遍。环境:MacBook Pro M3,Python conda 3.11,公司内网需代理。
为什么选这三个东西
部门有个陈年老知识库,几百份文档全靠老员工口口相传。产品经理多次提“智能问答”没人接。这就是典型RAG场景,干脆自己搭demo。Langflow是热门可视化AI工作流工具;腾讯混元API价格亲民;AI编程对比Copilot、Cursor和通义灵码。
Langflow初体验:拖拽一时爽,调试火葬场
安装:
pip install langflow
langflow run
浏览器打开localhost:7860,类似Node-RED的可视化界面。我搭了基础RAG流程:Chat Input → OpenAI Embeddings → FAISS Vector Store → Prompt Template → Chat Output。看着像样,跑起来问题就来了。
第一个坑是Embedding模型。默认OpenAI Embeddings需要API Key,而Langflow内部用的httpx不走系统代理,导致超时。最后在环境变量加HTTP_PROXY和HTTPS_PROXY解决,文档完全没提。
第二个坑是FAISS持久化。默认存内存,重启就得重新向量化,我的文档跑一次要十几分钟。后来发现persist_directory参数藏在Advanced Settings里才能配置。
第三个坑最崩溃——连线错误不报错。Prompt Template输出连错位置,流程无异常但输出全是乱码,debug近两小时。就像Python逻辑全错还没有断点调试。
亮点也有:支持导入导出JSON工作流配置,便于Git协作;对国产模型接入友好,社区有混元、百川、智谱组件包,不用自己写适配。
腾讯混元:便宜,但文档跟不上
注册腾讯云,开通混元,拿SecretId和SecretKey:
from tencentcloud.common import credential
from tencentcloud.hunyuan.v20230901 import hunyuan_client, models
cred = credential.Credential("your-secret-id", "your-secret-key")
client = hunyuan_client.HunyuanClient(cred, "ap-guangzhou")
req = models.ChatCompletionsRequest()
req.Model = "hunyuan-lite"
req.Messages = [{"Role": "user", "Content": "解释一下RAG的原理"}]
resp = client.ChatCompletions(req)
print(resp)
混元lite每千token输入0.008元,输出0.024元,比GPT-4o便宜一个数量级,内部知识库场景完全够用。
但文档更新慢:Temperature参数范围说明与实际SDK行为不一致,设0.1返回仍随机性强,社区说要额外传TopP才稳定。另外中文理解不错,但处理英文术语时会“自作聪明”翻译,比如把“embedding”翻成“嵌入”,反造成困扰。后来Prompt里加“保持专业术语英文原样”才好。
AI编程工具横向对比
Copilot写常规Python最稳,但涉及Langflow这种小众框架就开始编API,函数名根本不存在。
Cursor的Tab补全快,且基于整个项目上下文。写向量化脚本时自动识别到另一个文件里的chunk_text函数,直接给出正确调用。但AI对话偶尔“过度自信”,给出看似合理实则带bug的代码。
通义灵码中文注释理解明显更强。写“按段落切分,每段不超过500字,重叠50字”的中文注释,生成代码基本就是我要的逻辑。但英文代码补全稍弱,IDE支持也不如前两者。
综合:日常用Copilot,中文注释多的脚本切通义灵码,探索新项目用Cursor。
效果评估和一点心得
用50个典型问题测试,RAG准确率约72%。失分点:文档格式乱(PDF扫描件没OCR)、内部黑话理解不了。离产品期望的90%有差距,但demo演示已足够。
折腾一周业余时间,最大感受:工具快速迭代,文档和实际行为经常对不上。别死磕文档,去GitHub issue和Discord搜。Mac兼容性没问题,唯一用Windows是老旧OCR库只支持Windows,最后用在线API绕过了。
备考期间折腾这些有点“不务正业”,但就算上岸技术也不能丢,写进简历也是加分项。汇报完毕,刷行测去了。

评论 0