peekaboo

Peekaboo 是一个功能强大的 macOS 界面自动化命令行工具，旨在为 AI 代理与桌面应用程序环境之间搭建桥梁。它作为一个强力的工具，能够以编程方式与 macOS 交互，使代理程序能够观察、分析并操作复杂的桌面界面。通过基于快照的架构与一系列交互指令，Peekaboo 提供了对窗口、菜单及系统级组件的精确控制。主要适用于需要将模型输出与真实应用程序状态连接的开发人员、自动化工程师及 AI 代理构建者。

• 通过屏幕截图、窗口列表显示以及支持标注的视觉分析功能，提供完整的 UI 可视性。

• 先进的交互能力，包含精确点击、拖放操作、智能文字输入及热键序列。

• 深度的系统集成，可用于管理应用程序状态、Dock 项目、菜单栏及窗口边界。

• 灵活的输入模式，支持通过 ID、坐标或自然语言视觉查询来进行元素定位。

• 原生支持 JSON 输出，使其与基于 LLM 的代理程序流程及外部自动化脚本高度兼容。

• 跨应用程序的工作流程自动化：执行复杂序列，如启动应用程序、导航菜单，并在不同软件环境间进行数据输入。

• 需要在 macOS 上启用「屏幕录制」与「辅助功能」权限才能正常工作。

• 当与能处理视觉快照并将之映射至 CLI 指令参数的代理程序配合使用时，效果最佳。

• 建议在执行交互指令前，使用 peekaboo see 指令生成标注过的 UI 地图以确保精确度。

• 支持多种捕捉引擎，包括现代屏幕捕捉套件及传统 CG 方法，以处理不同的系统需求。

• 在自动化工作流程中使用 --json 标志，以方便机器解析应用程序状态、窗口列表及屏幕元素元数据。

• 建议通过 polter peekaboo 执行，以确保在代理任务执行期间拥有干净的构建与一致的环境状态。