自动化
phone-agent-skill avatar

phone-agent-skill

使用 AI AutoGLM Phone Agent 自动化 Android 设备操作。通过自然语言指令控制手机界面,适用于 APP 自动化测试、数据采集与 UI 互动,支持点击、滑动、输入与截屏。

简介

AutoGLM Phone Agent Skill 使 AI 代理程序能够在 Android 设备上执行复杂的端到端交互。通过集成 AutoGLM Phone Agent SDK,此技能将自然语言意图与物理 UI 操作相连接。专为开发人员、QA 工程师与研究人员设计,无需针对每个 UI 变更手动编写测试脚本。该技能可解析高层级指令并转化为精确的 ADB 命令,让代理程序导航应用程序、操作复杂界面并直接从屏幕提取数据。

  • 自然语言 UI 控制:将抽象目标分解为点击、滑动、滚动与文本输入等细部动作。

  • 视觉与交互整合:支持截屏与 UI 文本分析,以确认状态变更并确保精确度。

  • 自动化测试与数据采集:适用于重现用户旅程、执行端到端 (E2E) 测试套件及抓取手机端数据。

  • SDK 集成:使用强大的 Open-AutoGLM 架构,确保稳定的设备通讯与后端服务管理。

  • 先决条件:需要开启开发者模式与 USB 调试的 Android 设备,以及设置完善的 adb 环境。

  • 设置方式:确保 Phone Agent 后端服务正在运行,并将 PHONE_AGENT_ENDPOINT 环境变量正确设置为服务主机与端口。

  • 权限需求:SDK 需要目标设备上的辅助功能服务 (Accessibility Services) 与悬浮窗权限,以执行触摸事件与提取 UI 元件信息。

  • 安全规范:仅在测试设备或专用测试账户上执行操作。本技能无法绕过硬件层级的生物识别验证(例如指纹识别)。

  • 故障排除:若指令执行失败,请使用 'adb devices' 确认设备连接状态,检查服务端口是否被防火墙封锁,并确保辅助功能服务已启动。

仓库统计

Star 数
4,452
Fork 数
1,213
Open Issue 数
7
主要语言
Python
默认分支
main
同步状态
空闲
最近同步时间
2026年4月30日 08:53
在 GitHub 查看