advanced-evaluation

先進評估 (Advanced Evaluation) 技能提供了一套完整的框架，用於構建和維護可靠的 LLM-as-a-Judge 系統。該技能專為 AI 工程師、研究人員和開發者設計，旨在建立穩健的評估管線，超越簡單的手動測試，轉向自動化、定量的評估方法。核心重點在於確保模型開發週期中的評估一致性、可擴展性和公平性。

• 實作兩種主要的評估方法：針對客觀標準（如事實準確性、指令遵循）的直接評分 (Direct Scoring)，以及針對主觀偏好任務（如語氣、風格、說服力）的兩兩比較 (Pairwise Comparison)。

• 具備先進的偏差修正技術，以應對常見的問題，如位置偏差、長度偏差、自我提升偏差、冗長偏差和權威偏差。

• 提供設計結構化評分標準 (Rubrics) 的範本，定義評估指標，並規範 JSON 輸出格式，以最大化評分的可信度與重複性。

• 包含指標選擇框架，將評估策略與特定任務類型（包括二元分類、序數 Likert 量表評分和多標籤評估）相對接。

• 提供信心校準 (Confidence Calibration) 技術，透過多數決投票和多次推理過程的一致性檢查，確保評估結論在數學上的穩固性。

• 最佳實踐建議在產生最終評分前要求模型提供推理或證據說明，這可將可靠性提升 15-25%。

• 針對直接評分，建議使用 1-5 級的 Likert 量表以平衡認知負荷與解析度；針對模型對比測試 (A/B Testing)，建議優先採用兩兩比較法。

• 輸入通常包含原始提示詞 (prompt)、待評估的模型回應及評估標準；輸出通常為結構化的 JSON 物件，包含理由、評分與信心等級。

• 從業者應注意評分校準漂移 (Score Calibration Drift) 的問題；建議監控評估模型與人類稽核員之間的系統性不一致，以維持管線長期穩定性。

• 此技能可無縫整合至更廣泛的 MLOps 工作流程，支援提示詞 CI/CD 與模型版本控管。