跳转到主要内容

LangChain

04 · Models 与 Messages

统一调用各家模型,消息对象与角色

  • LangChain
  • Python

本节速览

这一节的每一块内容,分别是干什么的:

内容是干什么的
Models(ChatOpenAI)统一封装各家属商模型,换模型不改业务代码
Messagessystem / human / ai 统一消息结构,角色即约束
三种调用方式invoke 单次、batch 批量、stream 流式

模型调用是所有应用的起点。LangChain 用两个抽象把「调谁」和「说什么」标准化:Models 统一不同供应商的调用方式,Messages 统一对话内容的表达。

Models:统一调用各家模型

没有它会怎样——每家用一套 SDK,客户端构造、方法名、参数名各不相同;换模型等于全项目搜索替换再重测一遍。

有了它——所有模型同一个 invoke(messages) 接口,换模型只改构造参数。

模型抽象分两类:聊天模型(Chat Model)接收消息序列,是与 LLM 交互的主流形式;文本补全模型(LLM)接收一段文本,已很少用。实际开发用聊天模型。

ChatOpenAI 是 langchain-openai 提供的聊天模型抽象,屏蔽 HTTP 细节,对外暴露统一调用接口。换厂商(如 langchain-anthropic 包的 ChatAnthropic)时调用方式不变,这是抽象的意义:

import os   # 读取环境变量

from dotenv import load_dotenv   # 从 .env 读环境变量
from langchain_core.messages import HumanMessage   # 用户消息
from langchain_openai import ChatOpenAI   # OpenAI 聊天模型

load_dotenv()

model = ChatOpenAI(
    base_url=os.environ["GLM_BASE_URL"],
    api_key=os.environ["GLM_API_KEY"],
    model=os.environ["GLM_MODEL_ID"],
)
result = model.invoke([HumanMessage("Tell me a joke")])

返回值是 AIMessage,print 出来长这样(省略部分字段):

AIMessage(
    content="Why don't scientists trust atoms?\n\nBecause they make up everything!",
    usage_metadata={
        "input_tokens": 11,
        "output_tokens": 13,
        "total_tokens": 24,
    },
)

常用字段:

字段内容
content回复文本,业务需要的就在这里
text与 content 等价,1.x 新增属性
usage_metadatatoken 用量,统一格式
response_metadata结束原因、logprobs 等提供方元数据
tool_calls工具调用意图,见 Function Calling

token 是 LLM 计量文本的基本单位:英文约 4 个字符折 1 个 token,一个汉字通常折 1~2 个。API 计费和上下文窗口容量都按 token 算。

拿一次真实调用看这些字段里都有什么:

import os   # 读取环境变量

from dotenv import load_dotenv   # 从 .env 读环境变量
from langchain_openai import ChatOpenAI   # OpenAI 聊天模型

load_dotenv()

model = ChatOpenAI(
    base_url=os.environ["GLM_BASE_URL"],
    api_key=os.environ["GLM_API_KEY"],
    model=os.environ["GLM_MODEL_ID"],
)

result = model.invoke("讲一个笑话")

print(result.content)            # 回复文本
print(result.text)               # 与 content 等价
print(result.usage_metadata)

示例输出:

为什么科学家不信原子?因为它们编造了一切(make up everything)。
{'input_tokens': 11, 'output_tokens': 13, 'total_tokens': 24}

做成本统计时读 usage_metadata 累加即可,三种模型的返回格式一致,这是统一抽象的好处。

输入也可以传纯字符串,框架会自动包装为 HumanMessage:

from langchain_openai import ChatOpenAI   # OpenAI 聊天模型
import os   # 读取环境变量
from dotenv import load_dotenv   # 从 .env 读环境变量

load_dotenv()

model = ChatOpenAI(
    base_url=os.environ["GLM_BASE_URL"],
    api_key=os.environ["GLM_API_KEY"],
    model=os.environ["GLM_MODEL_ID"],
)

model.invoke("讲一个笑话")   # 等价于传 [HumanMessage("讲一个笑话")]

构造参数(model、temperature、max_retries、base_url 等)的完整说明见配置。

Messages:统一的消息结构

没有它会怎样——把约束和输入拼成一个字符串发过去:「你是翻译员。请翻译:你好」——模型有时把「你是翻译员」也当待翻译内容,约束时灵时不灵。

有了它——约束进 system、内容进 human,角色即职责,模型稳定区分「规则」和「输入」。

Chat API 的输入输出都是消息列表,每条消息带角色:

角色类说明
systemSystemMessage设定行为准则与人设,对模型行为的指导权重最高
humanHumanMessage用户输入
aiAIMessage模型回复
toolToolMessage工具执行结果,与 tool_calls 配对出现,见第 15 节
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage   # 三种角色的消息

messages = [
    SystemMessage("你是一个乐于助人的助手"),
    HumanMessage("hi, 我叫小明"),
    AIMessage("你好小明"),
]

.type 属性返回角色名(system / human / ai / tool)。做持久化时用它做标识最稳定,见记忆系统。四种消息类都在 langchain_core.messages。

三种调用方式

没有它会怎样——100 条数据写 for 循环逐条 invoke,一条 2 秒等 3 分钟;聊天场景要等全文生成完才显示,用户盯 30 秒空白。

有了它——batch 并行批量跑,stream 边生成边出字,吞吐和体验同时解决。

invoke / batch / stream 对任何 Runnable 都一样,模型的详细行为见 LCEL 与 Runnable:

  • invoke(input):单次调用,返回一个结果;
  • batch([input1, input2]):批量调用,自动并行,返回一组结果;
  • stream(input):流式返回生成器,每个 chunk 到达即可消费,不用等完整回复。

上一节:配置 · 下一节:LCEL 与 Runnable