Docker Compose 实战：从零搭建本地 AI 开发环境

很多开发者想玩本地 AI，但被各种依赖搞得头大。今天分享一个 Docker Compose 方案，一键启动完整的 AI 开发环境。

目标架构

我们要搭建的环境包括：

• Ollama — 本地大模型推理
• Open WebUI — 聊天界面
• ChromaDB — 向量数据库
• n8n — 工作流自动化

docker-compose.yml

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama

  chromadb:
    image: chromadb/chroma:latest
    ports:
      - "8000:8000"
    volumes:
      - chroma_data:/chroma/chroma

  n8n:
    image: n8nio/n8n:latest
    ports:
      - "5678:5678"
    environment:
      - N8N_AI_ENABLED=true
    volumes:
      - n8n_data:/home/node/.n8n

volumes:
  ollama_data:
  chroma_data:
  n8n_data:

启动步骤

# 1. 启动所有服务
docker compose up -d

# 2. 拉取模型
docker exec ollama ollama pull llama3.2
docker exec ollama ollama pull nomic-embed-text

# 3. 检查状态
docker compose ps

常见问题

GPU 不可用？

确保安装了 NVIDIA Container Toolkit：

sudo apt install nvidia-container-toolkit
sudo systemctl restart docker

内存不够？

如果只有 8GB 内存，建议只跑 Ollama + Open WebUI，用 llama3.2:1b 小模型。

数据持久化

所有数据都通过 Docker Volume 持久化，重启不丢失。备份只需要：

docker run --rm -v ollama_data:/data -v $(pwd):/backup alpine tar czf /backup/ollama_backup.tar.gz /data

进阶玩法

在 n8n 中创建 AI 工作流：

1. 连接 Ollama 节点，配置模型
2. 添加 ChromaDB 节点做 RAG
3. 用 Webhook 触发，对接你的应用

这套方案我在团队里用了 3 个月，非常稳定。比起云端 API，本地方案的好处是：零成本、无限调用、数据隐私。

有问题欢迎评论区交流！