context-optimization

上下文优化是生产级 AI 代理系统的关键技能，当有限的上下文窗口限制了任务复杂度、成本与延迟时，此技能尤为重要。它为管理代理程序注意力范围内的信息密度提供了结构化框架，使开发者能够在不升级至更大且更昂贵模型的同时，扩展有效的上下文容量。此技能专为构建长执行时间代理系统、自动化研究工具或生产级对话界面的工程师、架构师与 AI 开发者设计。通过运用这些策略，您可以最小化上下文退化、减轻“中间丢失”现象，并在资源受限的环境中最大化处理效率。

• KV 缓存优化：稳定提示词前缀，确保推理引擎重复使用计算过的键值张量，以降低延迟与成本。

• 观测遮罩：选择性压缩冗长的工具输出，将大型日志替换为在需要时仍可检索的简洁参考。

• 上下文压缩：通过分层摘要技术，在利用率达到特定阈值时提炼对话历史与检索到的文档。

• 上下文分割：将复杂工作负载分配至多个子代理，为独立任务单元维持隔离且集中的上下文窗口。

• 优先处理 KV 缓存稳定性，通过调整提示词结构，将静态信息置于前缀，动态数据置于输入流末端。

• 使用 70% 利用率作为压缩触发点；始终保留系统提示词，同时积极压缩工具输出，因为它们通常占用超过 80% 的总 Token。

• 对重复输出、样板文字与已建立的推理步骤实施遮罩，确保元数据可供追踪。

• 执行有损压缩时应维护审计轨迹；若压缩移除了超过 70% 的 Token，请进行质量审查以防止意外的信息丢失。

• 当处理大型文档、为长执行时间代理维护状态，或构建需要高 Token 预算效率的系统时，此技能特别有效。