LangChain
08 · RAG 原理
为什么要检索增强,工程六步
- LangChain
- Python
本节速览
这一节的每一块内容,分别是干什么的:
| 内容 | 是干什么的 |
|---|---|
| LLM 三个固有问题 | 知识截止、私域数据不可见、幻觉——RAG 存在的动机 |
| 流程四步 / 工程六步 | 离线建库与在线问答的完整链路 |
| 防幻觉 prompt 模板 | 约束模型只依据检索到的资料回答 |
| embedding 直觉 | 文本转向量、按相似度召回的原理 |
RAG(Retrieval Augmented Generation,检索增强生成):回答前先检索相关知识,塞进 prompt,再让模型只依据这些内容生成答案。它是 LLM 应用层最主流的设计模式。
LLM 的三个固有问题
- 幻觉:LLM 按统计规律逐 token 预测「下一个词」,没有事实校验机制。遇到训练数据覆盖不足的问题,它会以高置信度生成语法正确、内容错误的答案。错误答案和正确答案在表达上没有任何区别。
- 知识时效:知识冻结在训练集截止的那一刻。问最新版本号、昨天的新闻,模型给过时答案,或者干脆编一个。
- 私域缺失:公司内部文档、行业法规这类内容从未进入任何训练集,模型一无所知,问就是幻觉高发区。
RAG 对症下药:时效与私域问题靠外挂知识库解决;幻觉靠「仅依据给定内容回答」压制。
流程四步
- 用户提问。
- 检索(Retrieval):把问题转成向量,去向量库做相似度检索,取回最相关的若干文档块。
- 增强(Augmentation):把文档块拼进 prompt,附上约束语句。
- 生成(Generation):模型依据增强后的 prompt 输出答案。
工程六步
流程落地要依次解决六个工程问题。前三步是离线建库,一次性执行;后三步是在线问答,每次请求执行。
| 步骤 | 做什么 | 核心工具 | 对应文档 |
|---|---|---|---|
| 加载 | 把 PDF、网页等原始数据统一为 Document | TextLoader 等 | 文档加载器 |
| 切分 | 把长文档切成语义完整的小块 | RecursiveCharacterTextSplitter | 文本切分 |
| embedding | 每块文本转成向量入库 | GLM embedding-3 | 向量存储 |
| 检索 | 问题转向量,取 top-k 相似块 | as_retriever | 检索与优化 |
| 增强 | 检索结果拼进 prompt | ChatPromptTemplate | 完整 RAG 链 |
| 生成 | 模型依据上下文回答 | ChatOpenAI | 完整 RAG 链 |
防幻觉 prompt 模板
没有它会怎样——资料里没有的答案模型也硬编一个,而且编得理直气壮,用户分不出哪句有出处哪句是编的。
有了它——「资料里没有就回答不知道」写进 system,配合结构化注入资料,编造率大幅下降。
增强环节的模板通常长这样:
你是一个 xx 领域的聊天机器人。你的任务是根据下方给定的文档回答用户问题,
回答时仅依据给定文档的内容。如果文档不足以回答,请直接回答「我不知道」。
文档:
{docs}
用户的问题:
{question}
两个关键设计:
- 限定回答范围:「仅依据给定文档回答」把模型的任务从「凭参数记忆回答」变成「基于给定材料做阅读理解」,后者正是模型擅长的。
- 给兜底出口:检索没命中时,模型输出「我不知道」这句固定文案,而不是编造答案。这是抑制幻觉最直接有效的模板手段。
拿真实数据填一次模板,看模型实际收到的是什么({docs} 与 {question} 已被替换):
你是一个熟读《球状闪电》的聊天机器人。你的任务是根据下方给定的文档回答用户问题,
回答时仅依据给定文档的内容。如果文档不足以回答,请直接回答「我不知道」。
文档:
……原文中,丁仪提出了宏原子的假设。宏原子假设是指宏物质由宏电子
和与之相邻的宏原子核组成……
用户的问题:
宏原子的假设是谁提出的?
检索命中时,模型引用原文回答:
原文中,丁仪提出了宏原子的假设。宏原子假设是指宏物质由宏电子和与之相邻的宏原子核组成……
检索没命中时,模型走兜底出口,输出固定文案「我不知道」,而不是编一个答案。同一套模板,两种行为,差别只在 {docs} 里有没有相关内容。
embedding 与相似度检索的直觉
没有它会怎样——关键词检索:用户搜「便宜的服务器」,库里写的是「低廉的云主机」,一个字都对不上,明明有就是搜不到。
有了它——语义向量化,「便宜」和「低廉」在向量空间里挨着,措辞不同也能召回。
embedding 把一段文本映射成固定长度的向量(如 1536 维),语义相近的文本,向量也相近。检索因此变成几何问题:找与问题向量距离最近的那几个文档块向量。度量用余弦相似度:两个向量夹角的余弦值,越接近 1 越相似,正交时为 0。
没有机器学习背景时,用最简化的词袋模型建立直觉:三篇文章各自统计词频、拼成向量后,谈同类话题的文章非零维度高度重合,余弦相似度高;话题无关的文章维度完全错开,相似度接近 0。真实 embedding 模型框架相同,区别是维度固定、每一维是模型学到的抽象语义特征、计算考虑了上下文。
分工原则
LLM 是推理引擎,不是信息引擎。事实和知识由外挂知识库提供,保证准确、可更新;LLM 负责依据材料组织、推理、生成。理解了这个分工,RAG 每一步的设计意图都清楚了。
上一节:输出解析器与结构化输出 · 下一节:文档加载器