rag-engineer

RAG Engineer 技能为设计与维护检索增强生成 (RAG) 系统提供了强大的架构框架。它旨在协助软件工程师、数据科学家和 AI 架构师弥合原始非结构化数据与精确 LLM 生成之间的差距。该技能强调检索质量直接决定生成质量，主张以严谨且数据优先的方式构建搜索增强型 AI。

• 针对特定内容领域（包括代码、法律或技术文档）进行嵌入模型的专业选择与微调。

• 向量数据库架构的设计与管理，专注于扩展性与高性能的相似度搜索。

• 实现进阶分块策略，包括语义分块、阶层式检索，以及通过重叠 (overlaps) 维持上下文连续性。

• 使用 BM25、TF-IDF 与向量相似度结合倒数排名融合 (Reciprocal Rank Fusion) 的混合搜索系统开发。

• 整合查询扩充技术（例如假设性文档嵌入 HyDE 与多重查询检索）以提升系统召回率。

• 通过上下文压缩、元数据过滤及交叉编码器 (cross-encoders) 重排序来优化检索精确度。

• 当用户需要构建具备外部知识、领域专业背景或实时信息且超出 LLM 原始训练范围的 AI 代理时，应运用此技能。

• 输入要求包含原始文档语料库、查询日志及用于评估的相关性基准。

• 预期产出为具备高召回率/精确度比例且能将幻觉最小化的生产级检索管线。

• 实际限制包含平衡上下文窗口大小限制、管理嵌入模型的盲点，以及解决固定大小分块导致的碎片化技术债。

• 必须将检索管线视为独立的模块化组件；始终独立于最终生成输出的质量之外，评估命中率与 MRR 等检索指标。