trulens-evaluation-workflow

TruLens 评估工作流程是一个端到端的框架，旨在帮助开发人员摆脱简单的“感官检查”，并为 LLM 应用程序实施严谨、数据驱动的质量保证。无论您是在构建复杂的 RAG（检索增强生成）系统、多代理框架还是自定义的 LLM 集成，此技能都提供了一种结构化的方法来捕获执行数据、定义具体的质量指标并自动化验证过程。

此技能专为需要确保 LLM 应用程序准确、扎实且高效的 AI 工程师与机器学习从业人员而设计。它涵盖了评估的完整生命周期：检测 (Instrumentation)、测试数据集规划 (Dataset Curation)、指标配置 (Metric Configuration) 以及结果分析。通过使用 TruLens，您可以追踪内部的决策点、监控工具的使用情况，并比较应用程序的多个版本，以便在开发周期早期发现回归问题。

• 多框架支持：通过 TruChain 和 TruGraph 等专用封装，与 LangChain、LangGraph、Deep Agents 和 LlamaIndex 无缝集成。

• 全面的指标库：支持 RAG 三要素（情境相关性、扎实性、答案相关性）与 Agent GPA（工具选择、执行效率、规划质量）等标准评估基准。

• 可观测性与追踪：捕获细粒度的 OTel 兼容 Span，让您可以可视化复杂的执行链，并识别提示词或检索逻辑中的具体故障模式。

• 持续改进：通过建立基准测试数据集并执行不同模型版本或提示词策略的并排比较，简化回归测试。

• 可扩展架构：支持自定义反馈函数，允许开发人员定义特定于业务领域的唯一评估标准，例如连贯性、简洁性或领域特定的安全检查。

• 开始前，请先识别您的应用程序框架，以便选择正确的检测封装。

• 对于 RAG 系统，请专注于 RAG 三要素；对于代理系统，请优先考虑工具选择与规划质量指标。

• 请遵循工作流程阶段：检测（捕获 Span）、规划（建立基准）、配置（应用指标）与运行（执行评估）。

• 对于像 LangGraph 这样的复杂图形，请务必优先使用自动化修饰器，以确保准确捕获 Span。

• 利用 TruLens 仪表板解释评估结果并迭代提示词版本。

• 虽然检测与评估设置是必需的，但测试数据集规划是可选的，但强烈建议用于正式的回归测试。