从零搭建一个 RAG 系统：2026 年最佳实践指南

什么是 RAG？

RAG（Retrieval-Augmented Generation）是将检索和生成结合的技术，让 LLM 能够基于外部知识库回答问题，而不是完全依赖训练数据。

为什么 2026 年 RAG 依然重要？

即使大模型的上下文窗口已经扩展到百万 token 级别，RAG 仍然不可替代：

1. 成本控制：把所有文档塞进上下文太贵了
2. 实时性：知识库可以实时更新
3. 可追溯：每个回答都能指向原始出处
4. 准确性：精准检索 > 大海捞针式的长上下文

现代 RAG 架构

一个生产级 RAG 系统的核心组件：

文档 -> 分块(Chunking) -> 向量化(Embedding) -> 向量数据库
                                                    |
用户查询 -> 查询改写 -> 混合检索 -> 重排序(Rerank) -> LLM 生成

1. 智能分块

不要用固定大小切分！推荐的分块策略：

• 语义分块：基于语义相似度动态确定分块边界
• 递归字符分块：按段落 > 句子 > 字符层级切分
• 文档结构感知：利用标题、列表等结构信息

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=512,
    chunk_overlap=50,
    separators=["\n\n", "\n", "。", "，", " "]
)
chunks = splitter.split_text(document)

2. Embedding 模型选择

2026 年推荐的 Embedding 模型：

• 通用场景：text-embedding-3-large 或 bge-m3
• 中文优化：bge-large-zh-v1.5 或 gte-Qwen2
• 多语言：multilingual-e5-large-instruct
• 本地部署：nomic-embed-text (量化版仅 300MB)

3. 混合检索

单纯的向量检索不够，混合检索效果更好：

# 向量检索
vector_results = vector_store.similarity_search(query, k=20)

# 关键词检索 (BM25)
bm25_results = bm25_index.search(query, k=20)

# 融合排序 (Reciprocal Rank Fusion)
final_results = rrf_merge(vector_results, bm25_results, k=10)

4. Rerank 是关键

检索后一定要做重排序，这一步能显著提升质量：

from sentence_transformers import CrossEncoder

reranker = CrossEncoder('BAAI/bge-reranker-v2-m3')
scores = reranker.predict([(query, doc.text) for doc in candidates])
top_docs = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)[:5]

5. 查询改写

用户的原始查询往往不够精确，让 LLM 帮忙改写：

• HyDE：先让 LLM 生成一个假设性答案，用答案去检索
• 多查询：把一个问题拆成多个子查询
• Step-back：先问一个更宏观的问题获取背景知识

常见坑和解决方案

问题	解决方案
检索不到相关内容	优化分块策略 + 混合检索
检索到了但答案不对	加 Rerank + 优化 prompt
幻觉问题	要求模型引用原文 + 置信度阈值
长文档处理慢	异步处理 + 增量更新

总结

2026 年的 RAG 已经不是简单的「检索+生成」，而是一个包含智能分块、混合检索、重排序、查询改写的完整系统。掌握这些最佳实践，你的 RAG 系统质量会有质的飞跃。