RAG 系统详解：让 AI 拥有你的知识库

什么是 RAG？

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索和文本生成的技术，让大语言模型能够基于外部知识库回答问题。

为什么需要 RAG？

大模型的局限性

1. 知识截止：训练数据有截止时间
2. 幻觉问题：可能编造不存在的信息
3. 私有数据：无法访问企业内部数据
4. 成本高昂：微调大模型成本高

RAG 的优势

• ✅ 实时获取最新信息
• ✅ 基于真实数据回答
• ✅ 保护私有数据安全
• ✅ 无需微调，成本低

RAG 工作流程

用户问题 → 检索相关文档 → 构建 Prompt → AI 生成回答

详细步骤

1. 文档处理：将知识库切分为小块
2. 向量化：使用 Embedding 模型转换为向量
3. 存储：存入向量数据库
4. 检索：用户提问时检索最相关的文档块
5. 生成：将检索结果 + 问题一起发给 LLM

核心组件

1. 文档切分

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n", "\n", "。", ""]
)
docs = splitter.split_documents(raw_docs)

2. 向量化

from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vector = embeddings.embed_query("这是示例文本")

3. 向量数据库

常用选择：

• Chroma：轻量级，适合开发
• Pinecone：托管服务，易用
• Weaviate：功能丰富
• Milvus：高性能，适合生产
• Qdrant：开源，Rust 编写

from langchain.vectorstores import Chroma

vectorstore = Chroma.from_documents(
    documents=docs,
    embedding=embeddings,
    persist_directory="./chroma_db"
)

4. 检索器

retriever = vectorstore.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 3}  # 返回最相关的 3 个文档
)

relevant_docs = retriever.get_relevant_documents("用户问题")

5. 构建 Prompt

from langchain.prompts import PromptTemplate

prompt_template = """基于以下上下文回答问题：

上下文：
{context}

问题：{question}

如果上下文中没有答案，请说\"我不知道\"。

回答："""

prompt = PromptTemplate(
    template=prompt_template,
    input_variables=["context", "question"]
)

6. 生成回答

from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=retriever,
    return_source_documents=True
)

result = qa_chain({"query": "用户问题"})
print(result["result"])

完整示例

from langchain.document_loaders import TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA

# 1. 加载文档
loader = TextLoader("knowledge_base.txt")
docs = loader.load()

# 2. 切分文档
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
split_docs = splitter.split_documents(docs)

# 3. 创建向量存储
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(split_docs, embeddings)

# 4. 创建 QA 链
llm = ChatOpenAI(temperature=0)
qa = RetrievalQA.from_chain_type(llm, retriever=vectorstore.as_retriever())

# 5. 提问
answer = qa.run("公司的休假政策是什么？")
print(answer)

优化技巧

1. 混合检索

结合语义检索 + 关键词检索：

retriever = vectorstore.as_retriever(
    search_type="hybrid",
    search_kwargs={"k": 5, "lambda": 0.5}
)

2. 重排序

检索后用 Cross-Encoder 重排序：

from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import CrossEncoderReranker

compressor = CrossEncoderReranker(model_name="cross-encoder/ms-marco-TinyBERT-L-2-v2")
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor,
    base_retriever=retriever
)

3. 元数据过滤

retriever = vectorstore.as_retriever(
    search_kwargs={
        "k": 3,
        "filter": {"department": "HR", "year": 2024}
    }
)

总结

RAG 是让 AI 拥有私有知识库的最佳方案。通过检索 + 生成的组合，既能利用大模型的强大能力，又能保证回答的准确性和时效性。