核心功能
源自TruEra的RAG三要素方法论：上下文相关性、接地性、答案相关性联合评估防幻觉。函数级插桩生成结构化OTEL span，可导出Jaeger、Datadog等OTLP后端；内置7个Agent评估器，支持运行中内联评测与离线批量Run API，被沃尔玛、思科等企业采用。
功能亮点
RAG三要素
上下文相关性、接地性、答案相关性联合评估防幻觉
OTel原生追踪
调用级span可导出Jaeger、Datadog等OTLP后端
Agent评估器
7个Agent专用评估器覆盖规划、执行与工具调用
批量内联双模式
运行中内联评分与离线Run API批量评估兼得
自定义模型 / 模型接入
多厂商支持
官方provider包覆盖OpenAI/Azure、LiteLLM（Anthropic、Mistral）、Gemini、Bedrock、HuggingFace等
接入方式
- pip install trulens trulens-providers-openai
- pip install trulens trulens-providers-litellm
- pip install trulens trulens-providers-google
- pip install trulens trulens-providers-bedrock
- OpenAI(model_engine="gpt-5-nano") 配置评判模型
支持模型
OpenAI gpt系列Anthropic（经LiteLLM）Google GeminiAWS Bedrock模型HuggingFace模型
bash
国产/自建网关走 OpenAI 兼容协议时，官方推荐用 LiteLLM provider 包接入并指定模型： pip install trulens trulens-providers-litellm # 配置 OPENAI_API_KEY 指向网关密钥后，构造 provider 时填网关支持的模型名
适用场景
• RAG应用幻觉检测
• Agent多步执行质量评分
• 模型版本对比选优发布
• 生产数据反馈闭环
安装配置
bash
pip install trulens 提供商包按需安装，如 pip install trulens trulens-providers-openai 框架集成：pip install trulens trulens-apps-langchain
使用方法
python
from trulens.core import TruSession, TruApp, Metric, Selector from trulens.providers.openai import OpenAI provider = OpenAI(model_engine="gpt-5-nano") tru_rag = TruApp(rag, app_name="RAG", feedbacks=[f_groundedness, f_answer_relevance, f_context_relevance]) with tru_rag as recording: rag.query(q) session.get_leaderboard() 查看评分。
优点
- OTel生态直接互通
- RAG三要素方法论成熟
- Agent评估器领先业界
- 企业级落地案例多
缺点
- 提供商包需分别安装
- 文档API迭代较快
- LLM评判产生成本