工程开发
massive-context-mcp avatar

massive-context-mcp

通过递归分块、子查询与聚合结果处理超过 1,000 万 token 的大型文件和代码库,突破 LLM 上下文窗口限制。

简介

massive-context-mcp 服务器实现了递归语言模型 (RLM) 模式,旨在处理超出标准 LLM 上下文窗口的输入,例如大型日志文件、海量数据集或整个代码仓库。通过将上下文视为外部变量,代理程序能避免在提示词中填入大量数据,转而利用程序化分块与针对性子查询高效提取信息。此方法非常适合开发人员、数据科学家与研究人员,特别是在处理超过 100KB 的文件或多文件项目时。

  • 通过并行子查询遍历数十个文件,执行深入的代码库分析。

  • 处理大型日志文件 (10MB+),通过正则表达式筛选特定模式并聚合各分块洞察。

  • 支持双模式推理:使用高准确度的 Claude-SDK (Haiku) 进行生产任务,或通过 Ollama 进行免费且注重隐私的本地推理。

  • 通过 rlm_auto_analyze 工具自动编排,该工具可检测内容类型并优化分块策略(行、字符或段落)以获得最佳响应。

  • 提供细粒度的处理生命周期控制:使用专用 MCP 工具进行加载、检查、分块、子查询、存储与结果聚合。

  • 内置 Claude Desktop 与 Claude Code 的集成挂钩,在访问超过 10KB 的文件时主动建议使用 RLM,自动防止上下文膨胀。

  • 请仅在真正超出上下文限制时才使用 RLM 模式;小型文件建议使用标准工具。

  • 分块策略取决于内容:代码或日志建议使用“行”,文档或散文建议使用“段落”,非结构化数据建议使用“字符”。

  • 使用子查询批处理时,建议并发数保持在 8 以下以确保 API 稳定性。

  • Ollama 模型 (如 gemma3:12b) 非常适合预算受限或首重隐私的需求,但请确保系统具备至少 16GB RAM 以获得最佳本地性能。

  • RLM 系统将中间结果存储于可配置目录 (默认为 ~/.rlm-data),允许在不重新处理分块的情况下进行迭代分析。

仓库统计

Star 数
0
Fork 数
0
Open Issue 数
1
主要语言
Python
默认分支
main
同步状态
空闲
最近同步时间
2026年5月4日 03:12
在 GitHub 查看