今天介绍一个AI生产力工具:LangSmith。本篇文章主要在Tracing部分的实操,包括环境准备、如何将你的LangChain程序和LangSimth平台打通,如何使用LangSimth调试Prompt,以及如何进行在线数据标注和收集,为后面的自动化评估作准备。
在开始之前,我们先来了解下为什么要有LangSmith:
维护一个生产级的 LLM 应用,我们需要做什么?
各种指标监控与统计:访问记录、响应时长、Token用量、计费等等
调试 Prompt,Prompt 版本管理(便于升级/回滚)
测试/验证系统的相关评估指标
数据集管理(便于回归测试)
LangSimth平台帮助你快速、可视化完成上面的流程。它允许您调试、测试、评估和监控构建在任何LLM框架上的链和智能代理,并与LangChain无缝集成。
LangSmith是LangChain 官方的 SaaS 服务,不开源,注册需要排队。
平台入口:https://www.langchain.com/langsmith
文档地址:https://python.langchain.com/docs/langsmith/walkthrough
注册登录之后,需要生成API key
要打通 LangChain 和 LangSmith 很简单,只需要在环境变量中加入如下4个信息:
LANGCHAIN_API_KEY = "ls__xxxxxx" # LangChain API Key
LANGCHAIN_ENDPOINT = "https://api.smith.langchain.com" #LangSmith的服务端点
import os
os.environ["LANGCHAIN_TRACING_V2"]="true"
os.environ["LANGCHAIN_PROJECT"]="test-001" #自定义项目名称
示例代码:
import os
os.environ["LANGCHAIN_TRACING_V2"]="true"
os.environ["LANGCHAIN_PROJECT"]="test-001"
from langchain_openai import ChatOpenAI
from langchain.prompts import PromptTemplate
from langchain.schema.output_parser import StrOutputParser
from langchain.schema.runnable import RunnablePassthrough
from langchain.schema import HumanMessage
from langchain.prompts.chat import HumanMessagePromptTemplate
from langchain.prompts import ChatPromptTemplate
model = ChatOpenAI(model="gpt-3.5-turbo-0613")
prompt_template = """
我的名字叫【{name}】,我的个人介绍是【{description}】。
请根据我的名字和介绍,帮我想一段有吸引力的自我介绍的句子,以此来吸引读者关注和点赞我的账号。
"""
prompt = ChatPromptTemplate.from_messages([
HumanMessagePromptTemplate.from_template(prompt_template)
])
# 定义输出解析器
parser = StrOutputParser()
chain = (
prompt
| model
| parser
)
## invoke的第一个参数,传入json格式的参数,key与prompt中的参数名一致
response = chain.invoke({'name': '同学小张', 'description': '热爱AI,持续学习,持续干货输出'})
print(response)
运行之后,可以在LangSmith服务平台上看到该项目的运行情况:
Prompt模板和最终的Prompt以及输入给大模型的参数,如温度等,是大模型输出结果好坏的直接原因。我们可以使用LangSimth平台的PlayGround快速调试这些参数,来获得比较好的大模型结果,而不用每次都运行一遍程序。
联系客服