advanced-evaluation

此技能为使用 LLM-as-a-judge 技术评估大型语言模型 (LLM) 输出提供了一个稳健的框架。它专为负责为生成式 AI 代理构建可靠质量保证流程的工程师、数据科学家和人工智能研究人员而设计。该技能致力于通过将评估指标编码为自动化系统来超越手动测试，从而最大限度地减少主观性和噪声。

• 实现直接评分，适用于事实准确性、指令遵循和毒性检测等客观标准。

• 提供配对比较方法，以解决语调、风格和说服力等主观任务的偏好。

• 提供先进的偏差缓解策略，以对抗位置偏差、长度偏差、自我增强偏差、冗长偏差和权威偏差。

• 生成结构化的评分标准，以减少评估变异并提高自动化评审与人类评审之间的一致性。

• 支持对提示工程实验、模型微调和 A/B 测试框架进行系统性评估。

• 输入通常包括原始提示、模型生成的回答以及预定义的评估标准或评分量表。

• 输出由结构化的 JSON 数据组成，包含标准化分数、基于证据的详细理由以及带有置信区间的最终判断。

• 在评分前要求思维链式论证的实践，相比单纯的评分提示可将可靠性提高 15-25%。

• 始终对配对比较使用位置交换策略以抵消排序效应，若一致性检查失败则返回“平局 (TIE)”。

• 进行校准时，请将量表细粒度与评分标准的具体性相匹配，一般任务使用 1-5 量表，严格定义的标准则保留更高精度的量表。

• 定期监控偏差并确保评估模型与被测模型保持独立，以避免自我增强模式。