LangChain
11 · Embedding 与向量存储
embedding、InMemoryVectorStore、FAISS、Qdrant 与向量库全景,附 RAG/GraphRAG/LLM-wiki 辨析
- LangChain
- Python
本节速览
这一节的每一块内容,分别是干什么的:
| 内容 | 是干什么的 |
|---|---|
| GLM embedding-3 | 文本转向量(OpenAI 兼容接口接入) |
| InMemoryVectorStore | 内存向量库,开发调试用 |
| FAISS | 本地持久化向量库,重启不丢 |
| Qdrant | 独立部署的向量数据库,多进程共享、带过滤 |
| 向量库全景与选型 | 八种主流方案一张表 |
| RAG / GraphRAG / LLM-wiki | 三种知识架构的边界(延伸) |
切分后的文档块要转成向量存进 vector store,才能做相似度检索。环境:pip install langchain-community langchain-text-splitters langchain-openai,FAISS 一节另装 faiss-cpu。FAISS 类从 langchain_community.vectorstores 导入(langchain-classic 里的同名导入是弃用转发层)。
Embedding 模型:GLM embedding-3
没有它会怎样——文本只能关键词匹配:同义词、换个说法全漏,文档库越大、学不会用法的人越多。
有了它——文本变向量,语义相近即向量相近,检索按意思不按字面。
本章统一用智谱 GLM 的向量模型(embedding-3)。它是 OpenAI 兼容接口,所以直接用 OpenAIEmbeddings 换 base_url 接入(与 03 配置里 ChatOpenAI 换 GLM 的做法同理)。模型名不写死在代码里,从 .env 的 EMBEDDING_ID 读——和聊天模型用 GLM_MODEL_ID 一个道理,换模型只改 .env:
| API | 说明 |
|---|---|
embed_query(text) | 向量化单条查询,返回 list[float] |
embed_documents(texts) | 向量化一批文档,返回 list[list[float]],add_documents 内部调用它 |
dimensions | 可选,指定输出维度(embedding-3 支持降维),不传则用模型默认值 |
import os # 读取环境变量
from dotenv import load_dotenv # 从 .env 读环境变量
from langchain_openai import OpenAIEmbeddings # OpenAI 兼容的向量化接口
load_dotenv()
embeddings = OpenAIEmbeddings(
base_url=os.environ["GLM_BASE_URL"], # 服务方的接口地址
api_key=os.environ["GLM_API_KEY"], # 服务方的 Key
model=os.environ["EMBEDDING_ID"], # 向量模型名,如 embedding-3
check_embedding_ctx_length=False, # 非 OpenAI 端点必须,见下
)
vector = embeddings.embed_query("茴香豆是做什么用的")
print(len(vector)) # 向量维度:embedding-3 默认输出 2048 维
# 2048
# 入库前的批量向量化:一次传入全部文档块,返回一组向量
vectors = embeddings.embed_documents(["第一块文档内容", "第二块文档内容"])
print(len(vectors), len(vectors[0])) # 块数,每块的维度
# 2 2048
两个必须知道的点:
check_embedding_ctx_length=False不能省。 该参数默认True,会先用 tiktoken 把文本切成 token 数组再发给接口——这是 OpenAI 自家的私有约定,绝大多数兼容端点(GLM、DeepSeek、vLLM、Ollama)只接受原始字符串,传 token 数组会直接报错。设为False后 LangChain 改发原文。langchain-openai源码的类文档里专门有这条 note。- 为什么不用
ZhipuAIEmbeddings。langchain_community.embeddings里有智谱专用类,但它内部写死ZhipuAI(api_key=...):不接受base_url,且只从环境变量ZHIPUAI_API_KEY取值。接自建/中转端点时用不了,OpenAIEmbeddings才是通用解。
要点:
- embedding 只作用于
page_content,metadata不参与向量化。 - 每个文档块一次 API 调用,费用与块数成正比。这是持久化的动机。
- 构建库和检索必须用同一个模型。 换模型等于换向量空间,旧库直接失效(下文 FAISS 一节会再强调)。
InMemoryVectorStore:内存向量库
没有它会怎样——小 demo 也上个重量级数据库:装服务、配连接、写 schema,半天起步,开发节奏全打断。
有了它——一个 Python 对象就是向量库,from_documents 三行跑通,原型验证快。
纯内存实现,位于 langchain-core,进程退出数据即丢,适合开发与测试:
from langchain_community.document_loaders import TextLoader # 加载 txt 文件
from langchain_core.vectorstores import InMemoryVectorStore # 内存向量库
from langchain_text_splitters import RecursiveCharacterTextSplitter # 递归字符切分
# embeddings 沿用上一节创建的 GLM embedding-3 实例
# 先加载并切分(见文档加载器、文本切分两节;qiu.txt 是 09 章那份《秋园小记》)
docs = TextLoader("data/qiu.txt", encoding="utf-8").load()
split_docs = RecursiveCharacterTextSplitter(
chunk_size=500, chunk_overlap=50
).split_documents(docs)
vectorstore = InMemoryVectorStore(embeddings)
vectorstore.add_documents(split_docs) # 自动逐块 embedding 后入库
retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
res = retriever.invoke("秋天的后园里长着什么树")
坑:k 必须放在 search_kwargs 字典里。 直接传 k=2 会被静默忽略。add_documents 会触发全量 embedding 请求,重复运行就重复付费,调试阶段尽量复用一次构建的结果。
FAISS:本地持久化
没有它会怎样——内存库进程一退数据就没了:每次重启把全部文档重新 embedding 一遍,文档一多冷启动要几分钟,API 费用重复花。
有了它——save_local / load_local 落盘,重启秒级加载,embedding 只算一次。
Faiss 是 Facebook 开源的向量检索库,faiss-cpu 提供预编译 wheel,pip 即装即用。构建一次、反复复用,不再产生 embedding 费用。
构建并保存(独立脚本,运行一次):
from langchain_community.vectorstores import FAISS # 可落盘的向量库
from langchain_core.documents import Document # 统一文档对象
# embeddings 沿用本章开头创建的 GLM embedding-3 实例
split_docs = [
Document(page_content="茴香豆的茴字有四种写法……"),
Document(page_content="便可以买一碟盐煮笋,或者茴香豆,做下酒物"),
]
vectorstore = FAISS.from_documents(split_docs, embeddings)
vectorstore.save_local("db/kongyiji") # 写出 index.faiss 与 docstore.pkl 两个文件
加载并检索(业务脚本,每次启动只做 load):
from langchain_community.vectorstores import FAISS # 可落盘的向量库
# embeddings 沿用本章开头创建的 GLM embedding-3 实例;
# 且必须是「构建 db/kongyiji 时那一个」(同模型、同维度),否则向量空间不一致
vectorstore = FAISS.load_local(
"db/kongyiji",
embeddings,
allow_dangerous_deserialization=True, # docstore 以 pickle 存储,须显式确认
)
retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
retriever.invoke("茴香豆是做什么用的")
要点:
load_local仍要传 embedding 模型实例:检索时要把新 query 向量化。必须与构建时用同一个模型,否则向量空间不一致,检索结果无效。allow_dangerous_deserialization是加载 pickle 的安全确认开关,只加载自己构建的文件可放心传True。- FAISS 与 InMemoryVectorStore 检索结果一致。vector store 的差异不在「检索更聪明」,而在持久化、规模与运维。
Qdrant:独立部署的向量数据库
没有它会怎样——FAISS 是「文件」:只能单进程使用,换个脚本、换个服务就要各自 load 一份;想要按 metadata 过滤(只搜某个产品文档、某类权限的块)也得自己写。
有了它——向量库是独立服务:多个脚本、多个应用共享同一个库,写入即生效;原生支持 metadata 过滤、增量更新。
用 Docker 起一个(镜像在 Docker Hub,直接受益于 12 章配好的国内镜像加速;没配的话先回检索与优化第一步):
docker run -d \
--name qdrant \
-p 6333:6333 \
-p 6334:6334 \
-v $(pwd)/qdrant_storage:/qdrant/storage \
qdrant/qdrant
参数说明:6333 是 REST 端口(HTTP API 与验证),6334 是 gRPC 端口(LangChain 客户端默认走它,性能更好);-v 把数据挂到宿主机目录,容器删了数据还在。验证:
curl http://localhost:6333/collections
# {"result":{"collections":[]},"status":"ok","time":...}
LangChain 接入(pip install langchain-qdrant):
from langchain_qdrant import QdrantVectorStore # Qdrant 向量库接入
from langchain_core.documents import Document # 统一文档对象
# embeddings 沿用本章开头创建的 GLM embedding-3 实例
docs = [
Document(page_content="便可以买一碟盐煮笋,或者茴香豆,做下酒物",
metadata={"source": "鲁迅全集.pdf", "author": "鲁迅"}),
Document(page_content="连接失败时网关返回 ERR_CONN_RESET,多为上游服务重启所致",
metadata={"source": "运维手册.pdf", "author": "值班组"}),
]
# 第一次调用自动建 collection(维度由 embedding 模型决定)
vectorstore = QdrantVectorStore.from_documents(
docs,
embedding=embeddings,
location="http://localhost:6333", # 指向独立部署的实例
collection_name="kongyiji",
)
retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
for doc in retriever.invoke("茴香豆是做什么用的"):
print(doc.page_content[:30])
metadata 过滤是独立向量库的招牌能力——先按条件收窄,再做近邻检索:
# 接上一块:vectorstore 是上面构建好的 Qdrant 库
# 只在「鲁迅全集.pdf」的块里搜
res = vectorstore.similarity_search(
"下酒物是什么", k=2,
filter={"must": [{"key": "metadata.source", "match": {"value": "鲁迅全集.pdf"}}]},
)
要点:
- 过滤条件的 key 写
metadata.字段名:LangChain 把 Document 的 metadata 存进 Qdrant payload 的metadata命名空间下。 - 换 embedding 模型必须换 collection:不同模型的向量空间不兼容,与 FAISS 的「同一模型」要求同理。
- 检索端代码与 FAISS 完全同构(
as_retriever+invoke)——vector store 的差异体现在部署形态与运维能力,不在链路写法。
选型路径:向量数据库全景
| 方案 | 形态 | 一句话定位 |
|---|---|---|
InMemoryVectorStore | 进程内 | 开发调试,秒级起步 |
| FAISS | 本地文件 | 单机持久化,检索算法强,但不共享、无过滤 |
| Chroma | 嵌入式 / 可服务 | 从原型到小生产最平滑,pip install 即用 |
| pgvector | PostgreSQL 插件 | 已有 PG 的团队首选:向量与业务表同库、同事务 |
| Qdrant | 独立服务(Rust) | 生产专用向量库:部署轻、过滤强、性能好 |
| Milvus | 独立服务 / 云 | 亿级超大规模;组件多、运维重 |
| Elasticsearch | 独立服务 | BM25 与向量同库,混合检索一把梭(见 12 章) |
| Weaviate | 独立服务 | 内置向量化模块与混合检索,GraphQL 接口 |
常见演进:内存库验证想法 → FAISS/Chroma 单机持久化 → Qdrant 或 pgvector 上生产 → 规模或混合检索需求出现再上 Milvus/ES。切换只动构建和加载两处代码,链路其余不变——这也是本章反复用同一套 as_retriever 写法的原因。
延伸:RAG、GraphRAG 与 LLM-wiki 的区别
先把概念放稳。经常有人把「QRAG」挂在嘴边——这不是公认术语:arXiv 与主流资料里没有权威定义,零星同名项目含义互相打架(量子 RAG、量化 RAG、Qwen RAG……)。想表达「面向问题的知识增强」,主流叫法是 GraphRAG(微软论文标题就是 Query-Focused)。
三者对比,本质差异在知识什么时候被加工:
| 维度 | RAG | GraphRAG | LLM-wiki(DeepWiki 模式) |
|---|---|---|---|
| 知识形态 | 原文片段 + 向量 | 实体-关系图谱 + 社区摘要 | 结构化叙事文档(架构/流程/图表) |
| 加工时机 | 查询时检索 | 离线建图 + 查询时图检索 | 生成时整理(离线消化全库) |
| 更新 | 写入即生效,即时 | 要重抽图谱,贵 | 要重新生成,有过期风险 |
| 忠实度 | 高(答案可回溯原文) | 中高 | 较低(模型综合改写,无逐字出处) |
| 擅长 | 事实问答、引用溯源 | 全局问题、多跳关系(“全书主线是什么”) | 项目理解、给人/给 agent 长期阅读 |
- RAG:本章主线。知识以原文形式躺在向量库里,提问时现检索——更新即时、有出处,但答案是碎片拼起来的,答不好「整份文档的主线」这种全局问题。
- GraphRAG:离线阶段用 LLM 把语料抽成知识图谱并做社区摘要;全局问题走社区摘要、局部问题走图邻域。代价是建图要大量 LLM 调用,语料更新就得重抽。
- LLM-wiki:代表是 Cognition 的 DeepWiki(2025 年发布,给 5 万+ GitHub 仓库自动生成 wiki,URL 里
github.com换成deepwiki.com即可访问;开源复刻 deepwiki-open 已 18k+ star)。LLM 离线读完整个代码库/文档库,沉淀成一篇篇结构化 wiki,增量维护。同族模式还有AGENTS.md/CLAUDE.md——给 AI 编码代理维护的项目说明与记忆文件,本质都是「生成时整理的知识」。
最后一个容易忽略的事实:三者不是三选一。deepwiki-open 内部就是用 RAG 流水线来生成 wiki 的——「检索原文」与「沉淀整理」常常组合使用:wiki 承载全局理解,RAG 兜住事实细节。