LangSmith

LangSmith： Tracing：端到端调用链可视化。

提示工程开发框架 AI 开发付费闭源

访问官网

核心功能

Tracing：端到端调用链可视化。

功能亮点

slug

langsmith

官网

docs.smith.langchain.com（HTTP 200 可达）。

适用场景

• RAG/Agent 线上监控
• 提示词迭代
• 质量评测

安装配置

1) 打开 https://www.langchain.com/langsmith；2) 按官方文档安装依赖（如 pip/npm 或 Docker）；3) 跑通官方 quickstart。

使用方法

在环境变量里设 LANGSMITH_TRACING=true（旧变量名 LANGCHAIN_TRACING_V2）、LANGSMITH_API_KEY 和 LANGSMITH_PROJECT，LangChain / LangGraph 的链、Agent、工具调用就会自动上报；非 LangChain 的普通代码给函数加 @traceable 装饰器，或用 wrap_openai(OpenAI()) 包一层客户端即可采集；在 Web 端按项目查看每次 run 的调用树，逐层展开每步的输入输出、延迟、token 与费用，定位是哪一环慢或跑偏，可疑的 run 能一键送进 Playground 改 prompt/换模型重跑对比；把线上有代表性的 run 加进 Dataset 沉淀成回归集，写自定义评估函数或用 LLM-as-judge 评分器执行 evaluate()，多次实验并排比对指标涨跌；再用 Annotation Queue 组织人工标注、用 Monitoring 面板与告警持续盯线上成功率、延迟与成本。

关键指标

尚未核验对标产品，此处只列本工具自身指标，不做对比结论。

指标LangSmith

价格付费

开源否

上手难度进阶

优点

与 LangChain 集成深
评测能力强
适合生产

缺点

需要接入成本
费用
国内可用性需评估