深夜踩坑实录：用Docker把LangChain塞进深度学习框架的架构思考

晚上十点四十分，深圳南山。我一手托着娃，一手敲docker compose down——今晚第三次推倒容器环境。起因是公司项目：用LangChain做编排层，底层用现有深度学习框架推理，整体Docker打包交付。第一周就踩了两个大坑。

第一坑：CUDA镜像与LangChain依赖冲突

基础镜像用nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04。LangChain拉入的pydantic、chromadb等依赖与框架锁定的科学计算库冲突。典型的是pydantic：框架内部工具还在用v1 API，LangChain 0.2.x全面拥抱v2，构建直接报错：

ERROR: Cannot install pydantic==1.10.13 and pydantic==2.7.4 because these package versions have conflicting dependencies.

解决方案是拆镜像：推理服务独立容器，LangChain编排层独立容器，gRPC通信。架构反而更清晰。

第二坑：LangChain的抽象在容器里失灵

链式调用写demo很爽：

from langchain.chains import RetrievalQA
from langchain.vectorstores import Chroma

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever()
)

但容器里跑真实数据时：Chroma默认本地持久化，容器重启即丢；挂载volume后并发写入会锁文件抛异常。此外LangChain组件会隐式请求HuggingFace，容器内必须预下载并设HF_HUB_OFFLINE=1，否则启动卡死。

架构反思：解耦三件事

核心原则：深度学习框架做张量计算与推理；LangChain做流程编排与工具调用；Docker做环境隔离与交付。拆成三个容器：

1. inference-service：纯推理，加载模型，暴露gRPC接口，独立做GPU调优。
2. langchain-orchestrator：文档解析、向量检索、Prompt构建、Agent调用，通过gRPC调推理服务。
3. vector-db：独立Chroma容器，挂载volume，仅HTTP API访问。

跑通后可维护性大增：推理服务独立升级模型，LangChain随时换Prompt策略，向量库单独备份，Compose一键交付。

深夜思考

Docker教会我边界感——每个组件做好自己的事。LangChain教会我抽象有代价——越好用的框架越要理解底层。架构设计就一句话：把复杂的东西拆开，让每一部分都简单到不会出错。

最后补一句：千万别在LangChain容器里装CUDA驱动。别问怎么知道的。