rag-engineer

RAG Engineer 技能為設計與維護檢索增強生成 (RAG) 系統提供了強大的架構框架。它旨在協助軟體工程師、資料科學家和 AI 架構師彌合原始非結構化數據與精確 LLM 生成之間的差距。該技能強調檢索品質直接決定生成品質，主張以嚴謹且數據優先的方式構建搜尋增強型 AI。

• 針對特定內容領域（包括代碼、法律或技術文件）進行嵌入模型的專業選擇與微調。

• 向量資料庫架構的設計與管理，專注於擴展性與高效能的相似度搜尋。

• 實作進階分塊策略，包括語意分塊、階層式檢索，以及透過重疊 (overlaps) 維持上下文連續性。

• 使用 BM25、TF-IDF 與向量相似度結合倒數排名融合 (Reciprocal Rank Fusion) 的混合搜尋系統開發。

• 整合查詢擴充技術（例如假設性文件嵌入 HyDE 與多重查詢檢索）以提升系統召回率。

• 透過上下文壓縮、元數據過濾及交叉編碼器 (cross-encoders) 重排序來優化檢索精確度。

• 當使用者需要構建具備外部知識、領域專業背景或即時資訊且超出 LLM 原始訓練範圍的 AI 代理時，應運用此技能。

• 輸入要求包含原始文件語料庫、查詢日誌及用於評估的相關性基準。

• 預期產出為具備高召回率/精確度比例且能將幻覺最小化的生產級檢索管線。

• 實際限制包含平衡上下文視窗大小限制、管理嵌入模型的盲點，以及解決固定大小分塊導致的碎片化技術債。

• 必須將檢索管線視為獨立的模組化組件；始終獨立於最終生成輸出的品質之外，評估命中率與 MRR 等檢索指標。