llm-integration

此技能為開發人員提供了將 Anthropic Claude 及類似的大型語言模型整合至生產級 TypeScript 應用程式的全面架構。它透過結構化的設計模式，專注於可靠性、延遲控制與財務效率。該工具包專為軟體工程師與 AI 架構師設計，協助他們超越簡單的 Prompt-Response 循環，進入複雜且具狀態的代理工作流程。透過實作這些模式，開發人員能確保應用程式有效處理 Context Window、維持函數調用的精確度，並在不犧牲效能的前提下優化 Token 支出。

• 先進的 API 客戶端模式，包含重試邏輯與指數退避機制。

• 串流回應處理器，支援即時 UI 整合以降低感知延遲。

• 函數調用與工具使用 Schema，以啟用具備多步驟資料庫搜尋功能的自主代理迴圈。

• 模組化 RAG 管線架構，包含具備重疊片段的文件切割、向量資料庫整合及引用來源。

• 智慧模型路由策略，根據任務複雜度選擇最具成本效益的模型（例如：使用 Haiku 處理提取任務，使用 Opus 處理複雜推理）。

• 輸入要求包含乾淨的純文字文件、結構化提示詞，以及 RAG 功能所需的向量儲存庫存取權。

• 輸出內容由優化的回應串流、函數調用 JSON Schema 與結構化資料提取組成。

• 請確保在將 LLM 輸出用於下游程式碼之前，已進行驗證與清理。

• 密切監控 Token 使用量以防止成本失控；針對重複的 Embedding 請求實作快取機制。

• 遵循推薦的反模式指南，以避免諸如在僅需目標片段時傳送完整文件內容等常見錯誤。