llm-integration

此技能为开发人员提供了将 Anthropic Claude 及类似的大型语言模型集成至生产级 TypeScript 应用程序的全面架构。它通过结构化的设计模式，专注于可靠性、延迟控制与财务效率。该工具包专为软件工程师与 AI 架构师设计，协助他们超越简单的 Prompt-Response 循环，进入复杂且具状态的代理工作流程。通过实现这些模式，开发人员能确保应用程序有效处理 Context Window、维持函数调用的精确度，并在不牺牲性能的前提下优化 Token 支出。

• 先进的 API 客户端模式，包含重试逻辑与指数退避机制。

• 流式响应处理器，支持实时 UI 集成以降低感知延迟。

• 函数调用与工具使用 Schema，以启用具备多步骤数据库搜索功能的自主代理循环。

• 模块化 RAG 流水线架构，包含具备重叠片段的文档切割、向量数据库集成及引用来源。

• 智能模型路由策略，根据任务复杂度选择最具成本效益的模型（例如：使用 Haiku 处理提取任务，使用 Opus 处理复杂推理）。

• 输入要求包含干净的纯文本文件、结构化提示词，以及 RAG 功能所需的向量存储库访问权限。

• 输出内容由优化的响应流、函数调用 JSON Schema 与结构化数据提取组成。

• 请确保在将 LLM 输出用于下游代码之前，已进行验证与清理。

• 密切监控 Token 使用量以防止成本失控；针对重复的 Embedding 请求实现缓存机制。

• 遵循推荐的反模式指南，以避免诸如在仅需目标片段时发送完整文档内容等常见错误。