trulens-evaluation-workflow

TruLens 評估工作流程是一個端到端的框架，旨在幫助開發人員擺脫簡單的「感官檢查」，並為 LLM 應用程式實施嚴謹、數據驅動的品質保證。無論您是在建構複雜的 RAG（檢索增強生成）系統、多代理框架還是自定義的 LLM 整合，此技能都提供了一種結構化的方法來捕獲執行數據、定義具體的品質指標並自動化驗證過程。

此技能專為需要確保 LLM 應用程式準確、紮實且高效的 AI 工程師與機器學習從業人員而設計。它涵蓋了評估的完整生命週期：檢測 (Instrumentation)、測試數據集規劃 (Dataset Curation)、指標配置 (Metric Configuration) 以及結果分析。通過使用 TruLens，您可以追蹤內部的決策點、監控工具的使用情況，並比較應用程式的多個版本，以便在開發週期早期發現回歸問題。

• 多框架支援：透過 TruChain 和 TruGraph 等專用封裝，與 LangChain、LangGraph、Deep Agents 和 LlamaIndex 無縫整合。

• 全面的指標庫：支援 RAG 三要素（情境相關性、紮實性、答案相關性）與 Agent GPA（工具選擇、執行效率、規劃品質）等標準評估基準。

• 可觀測性與追蹤：捕獲細粒度的 OTel 相容 Span，讓您可以視覺化複雜的執行鏈，並識別提示詞或檢索邏輯中的具體故障模式。

• 持續改進：透過建立基準測試數據集並執行不同模型版本或提示詞策略的並排比較，簡化回歸測試。

• 可擴展架構：支援自定義反饋函數，允許開發人員定義特定於業務領域的唯一評估標準，例如連貫性、簡潔性或領域特定的安全檢查。

• 開始前，請先識別您的應用程式框架，以便選擇正確的檢測封裝。

• 對於 RAG 系統，請專注於 RAG 三要素；對於代理系統，請優先考慮工具選擇與規劃品質指標。

• 請遵循工作流程階段：檢測（捕獲 Span）、規劃（建立基準）、配置（應用指標）與運行（執行評估）。

• 對於像 LangGraph 這樣的複雜圖形，請務必優先使用自動化修飾器，以確保準確捕獲 Span。

• 利用 TruLens 儀表板解釋評估結果並迭代提示詞版本。

• 雖然檢測與評估設置是必需的，但測試數據集規劃是可選的，但強烈建議用於正式的回歸測試。