Langfuse

Langfuse

Langfuse: Tracing:生成/检索全链路追踪与成本统计。

核心功能

Tracing:生成/检索全链路追踪与成本统计。

功能亮点

slug

langfuse

官网

langfuse.com(HTTP 200 可达)。

本环境 GitHub raw 直连暂不可达,仓库与许可基于既有知识(MIT,langfuse/langfuse)。

适用场景

• Agent 编排
• RAG 系统
• 模型路由/网关

安装配置

Python 侧 pip install langfuse,Node 侧 npm install langfuse;再到 cloud.langfuse.com 注册并新建 project,在 Settings → API Keys 生成一对 pk-lf-… / sk-lf-… 密钥,写入环境变量 LANGFUSE_PUBLIC_KEY、LANGFUSE_SECRET_KEY、LANGFUSE_HOST(云端填 https://cloud.langfuse.com);要自托管就 git clone https://github.com/langfuse/langfuse.git 后 docker compose up -d,v3 架构会一并拉起 langfuse-web、worker、PostgreSQL、ClickHouse、Redis 与 MinIO 六个容器(建议 8GB 内存起),打开 http://localhost:3000 建管理员账号后同样在 Settings 里取密钥并把 LANGFUSE_HOST 指向本地地址。

使用方法

最省事的接法是 from langfuse import observe,给业务函数加 @observe()、给 LLM 调用加 @observe(as_type='generation'),自动记录输入输出、耗时与 token;用 OpenAI 时可直接把 import openai 换成 from langfuse.openai import openai 做 drop-in 替换,LangChain / LlamaIndex 则挂 Langfuse 的 CallbackHandler;一次请求会形成 trace → span → generation 的调用树,在 Web 端按 user_id、session_id 或 tag 过滤,逐层看每步 prompt、输出、延迟和按模型单价折算的成本;再用 Prompt 管理集中版本化提示词(代码里 get_prompt 拉取并可灰度回滚)、用 Score 给 trace 打人工或自动评分、把线上有代表性的 trace 挑进 Dataset 跑回归实验对比不同 prompt/模型;SDK 是批量异步上报的,短脚本或测试结束前要调 langfuse.flush() 否则事件可能来不及发出。

关键指标

尚未核验对标产品,此处只列本工具自身指标,不做对比结论。

指标Langfuse
价格免费
开源
上手难度专家

相关工具

优点

  • 开源可控
  • 生态增长快
  • 适合工程化

缺点

  • 需要工程经验
  • 部署/运维成本
  • 指标与评测设计复杂