peekaboo

Peekaboo 是一個功能強大的 macOS 介面自動化指令列工具，旨在為 AI 代理程式與桌面應用程式環境之間架起橋樑。它作為一個強大的工具，能以程式化方式與 macOS 互動，使代理程式能夠觀察、分析並操作複雜的桌面介面。透過基於快照的架構與一系列互動指令，Peekaboo 提供了對視窗、選單及系統級組件的精確控制。主要適用於需要將模型輸出與真實應用程式狀態連接的開發者、自動化工程師及 AI 代理建構者。

• 透過螢幕擷取、視窗列表顯示以及支援註釋的視覺分析功能，提供完整的 UI 可視性。

• 先進的互動能力，包含精確點擊、拖放操作、智慧文字輸入及熱鍵序列。

• 深度的系統整合，可用於管理應用程式狀態、Dock 項目、選單列及視窗邊界。

• 靈活的輸入模式，支援透過 ID、座標或自然語言視覺查詢來進行元素定位。

• 原生支援 JSON 輸出，使其與基於 LLM 的代理程式流程及外部自動化腳本高度相容。

• 跨應用程式的工作流程自動化：執行複雜序列，如啟動應用程式、導覽選單，並在不同軟體環境間進行資料輸入。

• 需要在 macOS 上啟用「螢幕錄製」與「輔助使用」權限才能正常運作。

• 當與能處理視覺快照並將其映射至 CLI 指令參數的代理程式配合使用時，效果最佳。

• 建議在執行互動指令前，使用 peekaboo see 指令產生註釋過的 UI 地圖以確保精準度。

• 支援多種擷取引擎，包括現代螢幕捕捉套件及傳統 CG 方法，以處理不同的系統需求。

• 在自動化工作流程中使用 --json 旗標，以方便機器解析應用程式狀態、視窗列表及螢幕元素元數據。

• 建議透過 polter peekaboo 執行，以確保在代理任務執行期間擁有乾淨的構建與一致的環境狀態。