跳转到主要内容

LangChain

11 · Embedding 与向量存储

embedding、InMemoryVectorStore、FAISS、Qdrant 与向量库全景,附 RAG/GraphRAG/LLM-wiki 辨析

  • LangChain
  • Python

本节速览

这一节的每一块内容,分别是干什么的:

内容是干什么的
GLM embedding-3文本转向量(OpenAI 兼容接口接入)
InMemoryVectorStore内存向量库,开发调试用
FAISS本地持久化向量库,重启不丢
Qdrant独立部署的向量数据库,多进程共享、带过滤
向量库全景与选型八种主流方案一张表
RAG / GraphRAG / LLM-wiki三种知识架构的边界(延伸)

切分后的文档块要转成向量存进 vector store,才能做相似度检索。环境:pip install langchain-community langchain-text-splitters langchain-openai,FAISS 一节另装 faiss-cpu。FAISS 类从 langchain_community.vectorstores 导入(langchain-classic 里的同名导入是弃用转发层)。

Embedding 模型:GLM embedding-3

没有它会怎样——文本只能关键词匹配:同义词、换个说法全漏,文档库越大、学不会用法的人越多。

有了它——文本变向量,语义相近即向量相近,检索按意思不按字面。

本章统一用智谱 GLM 的向量模型(embedding-3)。它是 OpenAI 兼容接口,所以直接用 OpenAIEmbeddings 换 base_url 接入(与 03 配置里 ChatOpenAI 换 GLM 的做法同理)。模型名不写死在代码里,从 .env 的 EMBEDDING_ID 读——和聊天模型用 GLM_MODEL_ID 一个道理,换模型只改 .env:

API说明
embed_query(text)向量化单条查询,返回 list[float]
embed_documents(texts)向量化一批文档,返回 list[list[float]],add_documents 内部调用它
dimensions可选,指定输出维度(embedding-3 支持降维),不传则用模型默认值
import os   # 读取环境变量

from dotenv import load_dotenv   # 从 .env 读环境变量
from langchain_openai import OpenAIEmbeddings   # OpenAI 兼容的向量化接口

load_dotenv()

embeddings = OpenAIEmbeddings(
    base_url=os.environ["GLM_BASE_URL"],        # 服务方的接口地址
    api_key=os.environ["GLM_API_KEY"],          # 服务方的 Key
    model=os.environ["EMBEDDING_ID"],           # 向量模型名,如 embedding-3
    check_embedding_ctx_length=False,           # 非 OpenAI 端点必须,见下
)

vector = embeddings.embed_query("茴香豆是做什么用的")

print(len(vector))   # 向量维度:embedding-3 默认输出 2048 维
# 2048

# 入库前的批量向量化:一次传入全部文档块,返回一组向量
vectors = embeddings.embed_documents(["第一块文档内容", "第二块文档内容"])
print(len(vectors), len(vectors[0]))   # 块数,每块的维度
# 2 2048

两个必须知道的点:

  • check_embedding_ctx_length=False 不能省。 该参数默认 True,会先用 tiktoken 把文本切成 token 数组再发给接口——这是 OpenAI 自家的私有约定,绝大多数兼容端点(GLM、DeepSeek、vLLM、Ollama)只接受原始字符串,传 token 数组会直接报错。设为 False 后 LangChain 改发原文。langchain-openai 源码的类文档里专门有这条 note。
  • 为什么不用 ZhipuAIEmbeddings。 langchain_community.embeddings 里有智谱专用类,但它内部写死 ZhipuAI(api_key=...):不接受 base_url,且只从环境变量 ZHIPUAI_API_KEY 取值。接自建/中转端点时用不了,OpenAIEmbeddings 才是通用解。

要点:

  • embedding 只作用于 page_content,metadata 不参与向量化。
  • 每个文档块一次 API 调用,费用与块数成正比。这是持久化的动机。
  • 构建库和检索必须用同一个模型。 换模型等于换向量空间,旧库直接失效(下文 FAISS 一节会再强调)。

InMemoryVectorStore:内存向量库

没有它会怎样——小 demo 也上个重量级数据库:装服务、配连接、写 schema,半天起步,开发节奏全打断。

有了它——一个 Python 对象就是向量库,from_documents 三行跑通,原型验证快。

纯内存实现,位于 langchain-core,进程退出数据即丢,适合开发与测试:

from langchain_community.document_loaders import TextLoader   # 加载 txt 文件
from langchain_core.vectorstores import InMemoryVectorStore   # 内存向量库
from langchain_text_splitters import RecursiveCharacterTextSplitter   # 递归字符切分

# embeddings 沿用上一节创建的 GLM embedding-3 实例

# 先加载并切分(见文档加载器、文本切分两节;qiu.txt 是 09 章那份《秋园小记》)
docs = TextLoader("data/qiu.txt", encoding="utf-8").load()
split_docs = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=50
).split_documents(docs)

vectorstore = InMemoryVectorStore(embeddings)
vectorstore.add_documents(split_docs)          # 自动逐块 embedding 后入库

retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
res = retriever.invoke("秋天的后园里长着什么树")

坑:k 必须放在 search_kwargs 字典里。 直接传 k=2 会被静默忽略。add_documents 会触发全量 embedding 请求,重复运行就重复付费,调试阶段尽量复用一次构建的结果。

FAISS:本地持久化

没有它会怎样——内存库进程一退数据就没了:每次重启把全部文档重新 embedding 一遍,文档一多冷启动要几分钟,API 费用重复花。

有了它——save_local / load_local 落盘,重启秒级加载,embedding 只算一次。

Faiss 是 Facebook 开源的向量检索库,faiss-cpu 提供预编译 wheel,pip 即装即用。构建一次、反复复用,不再产生 embedding 费用。

构建并保存(独立脚本,运行一次):

from langchain_community.vectorstores import FAISS   # 可落盘的向量库
from langchain_core.documents import Document   # 统一文档对象

# embeddings 沿用本章开头创建的 GLM embedding-3 实例

split_docs = [
    Document(page_content="茴香豆的茴字有四种写法……"),
    Document(page_content="便可以买一碟盐煮笋,或者茴香豆,做下酒物"),
]

vectorstore = FAISS.from_documents(split_docs, embeddings)
vectorstore.save_local("db/kongyiji")   # 写出 index.faiss 与 docstore.pkl 两个文件

加载并检索(业务脚本,每次启动只做 load):

from langchain_community.vectorstores import FAISS   # 可落盘的向量库

# embeddings 沿用本章开头创建的 GLM embedding-3 实例;
# 且必须是「构建 db/kongyiji 时那一个」(同模型、同维度),否则向量空间不一致
vectorstore = FAISS.load_local(
    "db/kongyiji",
    embeddings,
    allow_dangerous_deserialization=True,   # docstore 以 pickle 存储,须显式确认
)

retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
retriever.invoke("茴香豆是做什么用的")

要点:

  • load_local 仍要传 embedding 模型实例:检索时要把新 query 向量化。必须与构建时用同一个模型,否则向量空间不一致,检索结果无效。
  • allow_dangerous_deserialization 是加载 pickle 的安全确认开关,只加载自己构建的文件可放心传 True。
  • FAISS 与 InMemoryVectorStore 检索结果一致。vector store 的差异不在「检索更聪明」,而在持久化、规模与运维。

Qdrant:独立部署的向量数据库

没有它会怎样——FAISS 是「文件」:只能单进程使用,换个脚本、换个服务就要各自 load 一份;想要按 metadata 过滤(只搜某个产品文档、某类权限的块)也得自己写。

有了它——向量库是独立服务:多个脚本、多个应用共享同一个库,写入即生效;原生支持 metadata 过滤、增量更新。

用 Docker 起一个(镜像在 Docker Hub,直接受益于 12 章配好的国内镜像加速;没配的话先回检索与优化第一步):

docker run -d \
  --name qdrant \
  -p 6333:6333 \
  -p 6334:6334 \
  -v $(pwd)/qdrant_storage:/qdrant/storage \
  qdrant/qdrant

参数说明:6333 是 REST 端口(HTTP API 与验证),6334 是 gRPC 端口(LangChain 客户端默认走它,性能更好);-v 把数据挂到宿主机目录,容器删了数据还在。验证:

curl http://localhost:6333/collections
# {"result":{"collections":[]},"status":"ok","time":...}

LangChain 接入(pip install langchain-qdrant):

from langchain_qdrant import QdrantVectorStore   # Qdrant 向量库接入
from langchain_core.documents import Document   # 统一文档对象

# embeddings 沿用本章开头创建的 GLM embedding-3 实例

docs = [
    Document(page_content="便可以买一碟盐煮笋,或者茴香豆,做下酒物",
             metadata={"source": "鲁迅全集.pdf", "author": "鲁迅"}),
    Document(page_content="连接失败时网关返回 ERR_CONN_RESET,多为上游服务重启所致",
             metadata={"source": "运维手册.pdf", "author": "值班组"}),
]

# 第一次调用自动建 collection(维度由 embedding 模型决定)
vectorstore = QdrantVectorStore.from_documents(
    docs,
    embedding=embeddings,
    location="http://localhost:6333",   # 指向独立部署的实例
    collection_name="kongyiji",
)

retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
for doc in retriever.invoke("茴香豆是做什么用的"):
    print(doc.page_content[:30])

metadata 过滤是独立向量库的招牌能力——先按条件收窄,再做近邻检索:

# 接上一块:vectorstore 是上面构建好的 Qdrant 库
# 只在「鲁迅全集.pdf」的块里搜
res = vectorstore.similarity_search(
    "下酒物是什么", k=2,
    filter={"must": [{"key": "metadata.source", "match": {"value": "鲁迅全集.pdf"}}]},
)

要点:

  • 过滤条件的 key 写 metadata.字段名:LangChain 把 Document 的 metadata 存进 Qdrant payload 的 metadata 命名空间下。
  • 换 embedding 模型必须换 collection:不同模型的向量空间不兼容,与 FAISS 的「同一模型」要求同理。
  • 检索端代码与 FAISS 完全同构(as_retriever + invoke)——vector store 的差异体现在部署形态与运维能力,不在链路写法。

选型路径:向量数据库全景

方案形态一句话定位
InMemoryVectorStore进程内开发调试,秒级起步
FAISS本地文件单机持久化,检索算法强,但不共享、无过滤
Chroma嵌入式 / 可服务从原型到小生产最平滑,pip install 即用
pgvectorPostgreSQL 插件已有 PG 的团队首选:向量与业务表同库、同事务
Qdrant独立服务(Rust)生产专用向量库:部署轻、过滤强、性能好
Milvus独立服务 / 云亿级超大规模;组件多、运维重
Elasticsearch独立服务BM25 与向量同库,混合检索一把梭(见 12 章)
Weaviate独立服务内置向量化模块与混合检索,GraphQL 接口

常见演进:内存库验证想法 → FAISS/Chroma 单机持久化 → Qdrant 或 pgvector 上生产 → 规模或混合检索需求出现再上 Milvus/ES。切换只动构建和加载两处代码,链路其余不变——这也是本章反复用同一套 as_retriever 写法的原因。

延伸:RAG、GraphRAG 与 LLM-wiki 的区别

先把概念放稳。经常有人把「QRAG」挂在嘴边——这不是公认术语:arXiv 与主流资料里没有权威定义,零星同名项目含义互相打架(量子 RAG、量化 RAG、Qwen RAG……)。想表达「面向问题的知识增强」,主流叫法是 GraphRAG(微软论文标题就是 Query-Focused)。

三者对比,本质差异在知识什么时候被加工:

维度RAGGraphRAGLLM-wiki(DeepWiki 模式)
知识形态原文片段 + 向量实体-关系图谱 + 社区摘要结构化叙事文档(架构/流程/图表)
加工时机查询时检索离线建图 + 查询时图检索生成时整理(离线消化全库)
更新写入即生效,即时要重抽图谱,贵要重新生成,有过期风险
忠实度高(答案可回溯原文)中高较低(模型综合改写,无逐字出处)
擅长事实问答、引用溯源全局问题、多跳关系(“全书主线是什么”)项目理解、给人/给 agent 长期阅读
  • RAG:本章主线。知识以原文形式躺在向量库里,提问时现检索——更新即时、有出处,但答案是碎片拼起来的,答不好「整份文档的主线」这种全局问题。
  • GraphRAG:离线阶段用 LLM 把语料抽成知识图谱并做社区摘要;全局问题走社区摘要、局部问题走图邻域。代价是建图要大量 LLM 调用,语料更新就得重抽。
  • LLM-wiki:代表是 Cognition 的 DeepWiki(2025 年发布,给 5 万+ GitHub 仓库自动生成 wiki,URL 里 github.com 换成 deepwiki.com 即可访问;开源复刻 deepwiki-open 已 18k+ star)。LLM 离线读完整个代码库/文档库,沉淀成一篇篇结构化 wiki,增量维护。同族模式还有 AGENTS.md / CLAUDE.md——给 AI 编码代理维护的项目说明与记忆文件,本质都是「生成时整理的知识」。

最后一个容易忽略的事实:三者不是三选一。deepwiki-open 内部就是用 RAG 流水线来生成 wiki 的——「检索原文」与「沉淀整理」常常组合使用:wiki 承载全局理解,RAG 兜住事实细节。


上一节:文本切分 · 下一节:检索与优化