advanced-evaluation

此技能為使用 LLM-as-a-judge 技術評估大型語言模型 (LLM) 輸出提供了一個穩健的框架。它專為負責為生成式 AI 代理構建可靠品質保證流程的工程師、數據科學家和人工智慧研究人員而設計。該技能致力於透過將評估指標編碼為自動化系統來超越手動測試，從而最大限度地減少主觀性和雜訊。

• 實作直接評分，適用於事實準確性、指令遵循和毒性檢測等客觀標準。

• 提供配對比較方法，以解決語氣、風格和說服力等主觀任務的偏好。

• 提供先進的偏差緩解策略，以對抗位置偏差、長度偏差、自我增強偏差、冗長偏差和權威偏差。

• 生成結構化的評分標準，以減少評估變異並提高自動化評審與人類評審之間的一致性。

• 支援對提示工程實驗、模型微調和 A/B 測試框架進行系統性評估。

• 輸入通常包括原始提示、模型生成的回答以及預定義的評估標準或評分量表。

• 輸出由結構化的 JSON 數據組成，包含標準化分數、基於證據的詳細理由以及帶有信賴區間的最終判斷。

• 在評分前要求思維鏈式論證的實踐，相比單純的評分提示可將可靠性提高 15-25%。

• 始終對配對比較使用位置交換策略以抵消排序效應，若一致性檢查失敗則返回「平局 (TIE)」。

• 進行校準時，請將量表細粒度與評分標準的具體性相匹配，一般任務使用 1-5 量表，嚴格定義的標準則保留更高精度的量表。

• 定期監控偏差並確保評估模型與被測模型保持獨立，以避免自我增強模式。