从零搭建 RAG 系统：向量数据库选型与 Embedding 策略

RAG 是什么？

Retrieval-Augmented Generation（检索增强生成）是 2024-2026 年最主流的 AI 应用架构。简单说就是：先检索相关文档，再让大模型基于文档生成回答，解决幻觉问题。

系统架构

一个完整的 RAG 系统包含：

文档 → 分块(Chunking) → Embedding → 向量数据库
                                         ↓
用户提问 → Embedding → 相似度检索 → Top-K 文档
                                         ↓
                              Prompt + 文档 → LLM → 回答

向量数据库选型

Milvus

• 优势：分布式架构，支持百亿级向量，GPU 加速
• 适合：大规模生产环境
• 缺点：部署复杂，资源消耗大

Qdrant

• 优势：Rust 编写，性能优秀，过滤查询强大
• 适合：中等规模，需要复杂过滤条件
• 缺点：社区相对较小

Chroma

• 优势：Python 原生，开箱即用，开发体验好
• 适合：原型开发、小规模应用
• 缺点：不适合大规模生���

pgvector

• 优势：PostgreSQL 扩展，不用引入新组件
• 适合：已有 PG 基础设施的团队
• 缺点：大规模下性能不如专用向量库

Embedding 模型选择

2026 年主流选择：

# 方案一：OpenAI text-embedding-3-large
from openai import OpenAI
client = OpenAI()
response = client.embeddings.create(
    model="text-embedding-3-large",
    input="你的文本",
    dimensions=1024  # 可以指定维度，节省存储
)

# 方案二：本地部署 BGE-M3（中文效果好）
from FlagEmbedding import BGEM3FlagModel
model = BGEM3FlagModel("BAAI/bge-m3", use_fp16=True)
embeddings = model.encode(["你的文本"])

模型	维度	中文效果	成本
text-embedding-3-large	3072(可调)	良好	API 付费
BGE-M3	1024	优秀	本地免费
Cohere embed-v3	1024	良好	API 付费
GTE-Qwen2	768	优秀	本地免费

分块策略

分块质量直接决定检索效果：

1. 固定大小分块：简单但效果一般
2. 语义分块：按段落/章节切分，保持语义完整
3. 递归分块：LangChain 默认方案，按层级分割符递归切分
4. 父子分块：小块用于检索，返回时给大块（上下文更完整）

推荐参数：

• chunk_size: 512-1024 tokens
• chunk_overlap: 50-100 tokens
• 中文场景建议按句号分段后再合并

检索优化技巧

1. 混合检索：向量搜索 + BM25 关键词搜索，互相补充
2. Reranker：检索 Top-20，用 Cross-Encoder 重排取 Top-5
3. Query 改写：用 LLM 改写用户问题，提高检索命中率
4. 多路召回：同一问题生成多个查询角度

总结

RAG 系统看着简单，但每个环节都有优化空间。建议从 Chroma + BGE-M3 开始原型验证，确定方案后再切换到生产级组件。