evaluation

此技能为非确定性的 AI 代理系统提供了严谨的评估框架。它将重心从简单的单元测试转向基于结果的验证，解决了代理行为路径多变但目标一致的挑战。此技能专为负责构建、测试和迭代生产级代理管线，以及进行上下文工程的工程师、研究人员和 AI 架构师而设计。重点在于及早发现回归问题、优化上下文使用，并建立能确保复杂交互模式稳定性的质量关卡。

• 多维评分标准设计：在事实准确性、完整性、引用完整性、来源质量和工具效率等多个维度上对代理进行评分，以识别具体的失败模式。

• LLM-as-a-judge 实现：部署可扩展的基于模型的评估提示，以评估大规模测试集，同时通过使用多样化的模型系列来减轻偏见。

• 效能驱动因素分析：应用如“95% 发现”的数据驱动见解，优化 Token 预算、模型选择和工具使用，以最大化代理效能。

• 回归测试与质量关卡：将系统化测试整合到 CI/CD 工作流中，以防止代理配置或系统提示词演进时出现效能退化。

• 混合评估策略：结合自动化的 LLM 评分与针对边缘案例、幻觉检测与偏见缓解的目标人类审查。

• 目标指标：专注于结果而非硬编码的执行路径，因为代理本质上是非确定性的。

• 输入需求：预期测试集包含真实标准（ground truth）、不同复杂度的查询以及具代表性的生产互动纪录。

• 限制：请留意 Token 使用限制；生产级的真实评估需要在成本、速度与准确性之间取得平衡。

• 实作建议：始终根据您的特定用例加权维度（例如，研究任务优先考虑准确性，成本敏感型自动化优先考虑效率）。

• 整合：此技能旨在与 Vercel AI SDK、LangSmith 或任何可获取代理推理轨迹或结构化日志的内部评估管线配合使用。