evaluation

此技能為非確定性的 AI 代理系統提供了嚴謹的評估框架。它將重心從簡單的單元測試轉向基於結果的驗證，解決了代理行為路徑多變但目標一致的挑戰。此技能專為負責構建、測試和迭代生產級代理管線的工程師、研究人員和 AI 架構師而設計。重點在於及早發現回歸問題、優化上下文使用，並建立能確保複雜交互模式穩定性的品質關卡。

• 多維評分標準設計：在事實準確性、完整性、引用完整性、來源品質和工具效率等多個維度上對代理進行評分，以識別具體的失敗模式。

• LLM-as-a-judge 實作：部署可擴展的基於模型的評估提示，以評估大規模測試集，同時通過使用多樣化的模型系列來減輕偏見。

• 效能驅動因素分析：應用如「95% 發現」的數據驅動見解，優化 Token 預算、模型選擇和工具使用，以最大化代理效能。

• 回歸測試與品質關卡：將系統化測試整合到 CI/CD 工作流中，以防止代理配置或系統提示詞演進時出現效能退化。

• 混合評估策略：結合自動化的 LLM 評分與針對邊緣案例、幻覺檢測與偏見緩解的目標人類審查。

• 目標指標：專注於結果而非硬編碼的執行路徑，因為代理本質上是非確定性的。

• 輸入需求：預期測試集包含真實標準（ground truth）、不同複雜度的查詢以及具代表性的生產互動紀錄。

• 限制：請留意 Token 使用限制；生產級的真實評估需要在成本、速度與準確性之間取得平衡。

• 實作建議：始終根據您的特定用例加權維度（例如，研究任務優先考慮準確性，成本敏感型自動化優先考慮效率）。

• 整合：此技能旨在與 Vercel AI SDK、LangSmith 或任何可獲取代理推理軌跡或結構化日誌的內部評估管線配合使用。