LangChain
13 · 完整 RAG 链
从加载到回答的全链路代码
- LangChain
- Python
本节速览
这一节的每一块内容,分别是干什么的:
| 内容 | 是干什么的 |
|---|---|
| 链路结构 | 加载→切分→入库→检索→拼 prompt→生成的全景图 |
| 完整可运行代码 | 端到端 RAG,复制即可跑 |
| 执行机制 | 链上每一步的输入输出怎么流动 |
| 切换 Qdrant | 内存库换持久化库只需要改两处 |
把前面的组件组装成一条可 invoke 的链:传入 {"question": ...},返回基于私域原文的回答。
链路结构
没有它会怎样——加载、切分、入库、检索、拼 prompt 散在脚本里手工接力:顺序一乱(先检索后入库)查出来永远是空,变量在函数间层层透传,换向量库要动五处。
有了它——一条 Runnable 链串起全流程,输入输出边界清晰,换实现只动一处。
{ "question": "..." }
│
├─► retrieval_chain: question → retriever → Document 列表 → 拼接 → context
└─► question: 原样透传
│
▼ (字典自动转 RunnableMap,两路并行)
ChatPromptTemplate(填充 {context} 与 {question})
▼
ChatOpenAI
▼
StrOutputParser ──► 纯文本回答
完整可运行代码
import os # 读取环境变量
from dotenv import load_dotenv # 从 .env 读环境变量
from langchain_community.document_loaders import TextLoader # 加载 txt 文件
from langchain_core.output_parsers import StrOutputParser # 提取纯文本
from langchain_core.prompts import ChatPromptTemplate # 带角色的消息模板
from langchain_core.runnables import RunnableSequence # 顺序串联 Runnable
from langchain_core.vectorstores import InMemoryVectorStore # 内存向量库
from langchain_openai import ChatOpenAI, OpenAIEmbeddings # 聊天模型与向量化
from langchain_text_splitters import RecursiveCharacterTextSplitter # 递归文本切分器
load_dotenv()
if not os.environ.get("GLM_API_KEY"):
raise ValueError("请在 .env 中配置 GLM_BASE_URL / GLM_API_KEY / GLM_MODEL_ID")
llm = ChatOpenAI(
base_url=os.environ["GLM_BASE_URL"],
api_key=os.environ["GLM_API_KEY"],
model=os.environ["GLM_MODEL_ID"],
)
embeddings = OpenAIEmbeddings(
base_url=os.environ["GLM_BASE_URL"],
api_key=os.environ["GLM_API_KEY"],
model=os.environ["EMBEDDING_ID"],
check_embedding_ctx_length=False, # 非 OpenAI 端点必须,原因见 11 章
)
# 1. 加载私域数据
docs = TextLoader("data/qiu.txt", encoding="utf-8").load()
# 2. 切分
split_docs = RecursiveCharacterTextSplitter(
chunk_size=500,
chunk_overlap=100,
).split_documents(docs)
# 3. 向量化入库
vectorstore = InMemoryVectorStore(embeddings)
vectorstore.add_documents(split_docs)
# 4. 生成 retriever
retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
# 5. 检索结果后处理:Document 列表转纯文本
def convert_docs_to_string(documents):
return "\n".join(document.page_content for document in documents)
# 6. 检索子链:{question} → 相关原文文本
retrieval_chain = RunnableSequence(
lambda input: input["question"],
retriever,
convert_docs_to_string,
)
# 7. 防幻觉 prompt 模板
TEMPLATE = """你是一个严谨的知识库问答助手,只依据给定的资料回答。
资料中没有相关内容时,回答"资料中没有相关内容",不要编造。
资料:
{context}
问题:
{question}"""
prompt = ChatPromptTemplate.from_template(TEMPLATE)
# 8. 组装完整链
rag_chain = RunnableSequence(
{
"context": retrieval_chain,
"question": lambda input: input["question"],
},
prompt,
llm,
StrOutputParser(),
)
# 9. 调用
answer = rag_chain.invoke({
"question": "秋天的后园里长着什么树?",
})
print(answer)
# 根据资料,秋天的后园里,墙角有一棵老槐树。风一起,它的叶子就簌簌地落,铺了满地碎金。
检索命中时返回基于原文的回答;未命中时命中模板兜底,输出「资料中没有相关内容」。
一个要留意的点:data/qiu.txt 全文才 425 字,chunk_size=500 下只切出 1 块(实测 len(split_docs) 为 1),所以这条链的「检索」其实是从一块里取一块,看不出 top-k 的效果。它用来演示链的结构没问题;要看检索真正发挥作用,需要更大的语料和更小的 chunk_size——19 章综合项目把语料扩到 5 个文件、29 块,并补上了阈值拒答、溯源角标、多轮记忆。
执行机制
- 第一步的普通字典字面量被自动转换为
RunnableMap:两个分支并行执行,输出按键名组装成{"context": ..., "question": ...}传给 prompt。 lambda input: input["question"]负责透传:prompt 要同时拿到检索结果和用户原问题,原始输入必须与 context 一起进入同一步。retrieval_chain里的普通 lambda 自动包装为RunnableLambda。
切换 Qdrant
InMemoryVectorStore 每次启动都重新 embedding 全量文档。切换 Qdrant(独立服务,部署见 11 章)只替换第 3 步:
from langchain_qdrant import QdrantVectorStore # Qdrant 向量库接入
from qdrant_client import models # 距离度量等模型定义
# embeddings、split_docs 沿用本章开头创建/切分所得,这里只换向量库
# 构建侧(独立脚本运行一次)——collection 不存在会自动创建,维度由 embedding 模型决定
vectorstore = QdrantVectorStore.from_documents(
split_docs,
embeddings,
url="http://localhost:6333",
collection_name="qiu",
distance=models.Distance.COSINE,
)
# 使用侧(替换上面的第 3、4 步)——必须用构建时同一个模型,否则向量空间不一致
vectorstore = QdrantVectorStore(
url="http://localhost:6333",
collection_name="qiu",
embedding=embeddings,
distance=models.Distance.COSINE,
)
retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
第 5 步起的链路完全不动。vector store 可替换,因为所有实现共享同一套抽象。
与 FAISS 落盘版的三点不同(都实测过):
- 数据在 Qdrant 服务里,不在本地目录:没有
save_local / load_local这对动作——构建侧写进去,使用侧连上去就能查,天然多进程共享。 - 不需要
allow_dangerous_deserialization:那是 FAISS 的 docstore 用 pickle 存储才有的安全开关,Qdrant 存的不是 pickle,没有反序列化执行代码的风险。 - 重跑构建侧会追加而不是覆盖:同一批文档跑两遍
from_documents,collection 里就有两份、检索会命中重复块。重建前先删旧 collection(client.delete_collection("qiu"))——19 章的ingest.py就是这么保证幂等的。
想用本地文件库而不是独立服务,FAISS 是等价方案:FAISS.from_documents(...) + save_local("db/qiu") 构建,FAISS.load_local("db/qiu", embeddings, allow_dangerous_deserialization=True) 加载,见 11 章。
坑与下一步
- 这条链没有对话记忆:每次
invoke相互独立,听不懂「它的西边种了什么」这类指代(不知道「它」指后园)。多轮对话见记忆系统与部署。 - 回答质量的上限由检索质量决定。提问关键词与原文不一致、多层语义推理等失效场景及对策见检索与优化。
- 这条链是「能讲清结构」的最小版:单文件语料、无阈值拒答、无溯源角标、无记忆。把 09~18 章的组件焊成一套真能交付的系统,见19 章综合项目。
- 示例数据仅限本地测试,对外提供服务需获得数据授权。