phone-agent-skill

AutoGLM Phone Agent Skill 使 AI 代理程式能夠在 Android 裝置上執行複雜的端到端互動。透過整合 AutoGLM Phone Agent SDK，此技能將自然語言意圖與實體 UI 操作連結。專為開發人員、QA 工程師與研究人員設計，無需針對每個 UI 變更手動編寫測試腳本。該技能可解析高階指令並轉化為精確的 ADB 命令，讓代理程式導航應用程式、操作複雜介面並直接從螢幕擷取數據。

• 自然語言 UI 控制：將抽象目標分解為點擊、滑動、捲動與文字輸入等細部動作。

• 視覺與互動整合：支援截圖與 UI 文字分析，以確認狀態變更並確保精確度。

• 自動化測試與數據採集：適用於重現使用者旅程、執行端到端 (E2E) 測試套件及抓取手機端數據。

• SDK 整合：使用強大的 Open-AutoGLM 架構，確保穩定的裝置通訊與後端服務管理。

• 先決條件：需要開啟開發者模式與 USB 偵錯的 Android 裝置，以及設定完善的 adb 環境。

• 設定方式：確保 Phone Agent 後端服務正在執行，並將 PHONE_AGENT_ENDPOINT 環境變數正確設定為服務主機與連接埠。

• 權限需求：SDK 需要目標裝置上的輔助功能服務 (Accessibility Services) 與懸浮視窗權限，以執行觸控事件與提取 UI 元件資訊。

• 安全規範：僅在測試裝置或專用測試帳號上執行操作。本技能無法繞過硬體層級的生物辨識驗證（例如指紋辨識）。

• 故障排除：若指令執行失敗，請使用 'adb devices' 確認裝置連線狀態，檢查服務連接埠是否被防火牆封鎖，並確保輔助功能服務已啟動。