backend-rag-implementation

此技能專注於實現檢索增強生成 (RAG) 管線，將標準 LLM 轉換為具備情境感知的代理程式，能夠查詢專有文件、內部知識庫及特定領域的數據集。它為 FastAPI 後端開發提供了結構化的方法，強調減少模型幻覺，並提供具有來源引用的可靠解答。此技能專為建構企業級 AI 應用程式的軟體工程師設計，涵蓋了文件擷取、向量儲存與智慧檢索的完整生命週期。

• 支援多種向量資料庫，包括 Pinecone、Weaviate、Milvus、Chroma、Qdrant 及 FAISS，以實現可擴展的相似度搜尋。

• 使用 OpenAI text-embedding-ada-002、Sentence Transformers (all-MiniLM-L6-v2)、E5、Instructor 及 BGE 模型進行先進的嵌入模型整合。

• 複雜的檢索策略，例如密集檢索 (Dense Retrieval)、稀疏檢索 (Sparse Retrieval, BM25)、混合搜尋 (Hybrid Search)、多重查詢 (Multi-Query) 生成及 HyDE。

• 透過重排序 (Reranking) 技術優化效能，包括 Cross-Encoders、Cohere Rerank 及最大邊際相關性 (MMR)。

• 提供情境壓縮與父文件檢索模式，確保在檢索到的情境中保持高訊噪比。

• 專業的文件分塊策略，包含遞迴字元分塊 (Recursive Character)、基於標記的分塊 (Token-based)、語義分塊 (Semantic) 及 Markdown 標題分割。

• 推薦用於建構文件問答系統、研究工具及專業文件助理。

• 整合需要 FastAPI、LangChain 以及選定的向量儲存庫。

• 請確保使用 .env 檔案安全地處理 API 金鑰 (如 OpenAI、Pinecone)。

• 效能取決於分塊品質與嵌入模型的選擇；請針對特定領域的文件結構調整分塊大小與重疊參數。

• 針對同時涉及語義相似度與關鍵字限制的混合型查詢，建議採用混合搜尋模式。

• 使用 API 驅動的重排序服務時，需監控成本與延遲，並與本地的 Cross-Encoder 實現進行權衡比較。