evaluation

评估技能为 AI 代理系统提供了强大的架构化评估方案，超越了传统软件测试，专门应对大型语言模型的非确定性特性。此技能专为工程师与研究人员设计，能够建立系统化的评估框架，以应对动态决策、多轮互动与上下文相关的故障。透过专注于结果导向的验证，而非固定的执行路径，开发者能确保其代理在部署前持续符合品质标准。

• 实作多维度评分标准，独立衡量事实准确性、完整性、引用精确度与工具效率。

• 运用 LLM-as-a-judge 技术，针对大规模测试集进行可扩展的自动化评估，并纳入推理过程与结构化输出分析。

• 建立品质闸控与回归测试，用于侦测代理管线在上下文视窗或工具集更新时的效能退化。

• 整合 BrowseComp 研究见解，例如权杖（token）预算管理与模型效率分析，以最佳化代理组态。

• 支援混合式评估工作流程，结合自动化评分与人工审核，以侦测隐晦的偏见、幻觉与极端边界情况。

• 当您需要定义基准测试套件、进行模型比较或设定代理工作流的效能指标时，请启动此技能。

• 输入资料通常包含原始代理互动日志、基准测试数据集与特定任务的评分标准定义；输出包含加权综合评分与可操作的诊断反馈。

• 实务限制强调使用不同的模型进行评估以避免自我增强偏见，并需涵盖不同复杂度的提示词场景。

• 使用者应优先评估最终结果与状态变更，将个别执行步骤视为参考资讯而非评估指标。