IOS 自动化探索——使用蓝牙实现 XCUITest 的 Tap 操作

2024-03-25 23:08

本文主要是介绍IOS 自动化探索——使用蓝牙实现 XCUITest 的 Tap 操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原文由 自然生长 发表于TesterHome社区,点击 原文链接 可与作者直接交流。

一、前言

远程使用 WeTest 和 Testin 的 ios 设备时,总会觉得操作不流畅,因为它在松开鼠标时, 手机才会动。应该是由于 WDA 中是使用 XCUITest 来实现 Tap 操作,而它的一次操作需要完整的动作链,不能像 Android 中一样分解为 Down、Move、Up 操作。

最近发现了一款名叫虫洞的软件,地址:https://er.run/ ,它可以实现流畅的远程操作。进过研究,发现其原理是通过蓝牙向手机发送蓝牙鼠标操作信号,从而实现一个指针设备来操控设备。

目前只实现了一个 DEMO,在实用性方面还有待提高。

二、基础知识

1、蓝牙 HID 设备

The Human Interface Device (HID) 定义了蓝牙在人机接口设备中的协议、特征和使用规程。典型的应用包括蓝牙鼠标、蓝牙键盘、蓝牙游戏手柄等。该协议改编自 USB HID Protocol。

HID 建立 Control Channel 和 Interrupt Channel 两个通道,Control Channel 通道主要用于传输控制封包,在这个通道传输的封包称为同步封包(synchronous reports),Interrupt Channel 通道传输的封包不需要确认,所以称为异步封包(asynchronous reports)。

不同的设备发送的包是不同的,下文会列举键盘的包和鼠标的包。

2、蓝牙 SDP 协议

SDP 协议让客户机的应用程序发现存在的服务器应用程序提供的服务以及这些服务的属性。SDP 只提供发现服务的机制,不提供使用这些服务的方法。每个蓝牙设备都需要一个 SDP Service,只做 Client 的蓝牙设备除外。

3、蓝牙鼠标信号

和使用 XCUITest 最大的不同是蓝牙鼠标移动的 xy 位置不是屏幕的位置,而是鼠标当前点的相对位置,这点对于实现 Tap 操作是不利的,因为需要将相对位置转换成在屏幕中的绝对位置。

4、IOS 中的辅助控制

与蓝牙键盘不同,支持蓝牙鼠标功能是需要主动开启的,位置在 设置>辅助功能>触控>辅助功能,当蓝牙鼠标信号成功发送后,在手机上会出现一个小圆点,在设置>辅助功能>触控>辅助功能>设备 中也会出现该蓝牙设备。

三、具体实现

1、基础源码

地址:https://github.com/bonyadmitr/XcodeProjects/tree/de6f1b11b2c847b30b900c8a2539e0a30a06c7ba/_mac/Bluetooth-Keyboard-Emulator

这个项目支持 Swift5,但只实现了模拟蓝牙键盘的功能,只要跑起来后,将手机通过蓝牙连接到你的 Mac,然后就能读取你 Mac 的键盘输入转到手机中。PS:Monterey 的蓝牙连接似乎有些问题,ios 设备根本连不上蓝牙。

2、修改 SDP,加入鼠标 Report 结构

在项目中有个 HIDReportDescriptor.txt 的文件,可以看到其中有键盘的 Report 结构,这是需要加在 sdp 协议中的,但它并不是 sdp 协议文件,真正的 sdp 文件是 SerialPortDictionary.plist。

0206 - HIDDescriptorList > item 0 > item 1 > DataElementValue 中是 HIDReportDescriptor.txt 的 Hex 格式,将鼠标的 Report 结构加入其中即可。

3、定义鼠标 Report

我们先看下它已经定义好的键盘 report,需要结合 HIDReportDescriptor.txt 来看。

let bytes: [UInt8] = [0xA1,      // 0 DATA | INPUT (HIDP Bluetooth)0x01,      // 1 Report IDmodifier,  // 2 Modifier Keys0x00,      // 3 ReservedkeyCode,   // 4 Keys ( 6 keys can be held at the same time )0x00,      // 50x00,      // 60x00,      // 70x00,      // 80x00,      // 90x00       // 10 Reserved
]

其中第一个字节 A1 代表它是 HID 设备,第二个字节 Report ID 01 代表是键盘,可以对应0x85, 0x01, // Report ID (1)

接下来 modifier 代表的是功能键,可以表示同时按下多个功能键,例如 0b1 代表按下 control 健,0b10 代表按下 shift 键,0b11 代表同时按下了 control 和 shift 键。

下面第 3 个字节虽然注释上标记了保留字段,但其实它是有意义的,但只在输出时有用,它表示了一些锁,比如大小写锁和小键盘锁。

0x05, 0x08,        //   Usage Page (LEDs)
0x19, 0x01,        //   Usage Minimum (Num Lock)
0x29, 0x05,        //   Usage Maximum (Kana)
0x95, 0x05,        //   Report Count (5)
0x75, 0x01,        //   Report Size (1)
0x91, 0x02,        //   Output (Data,Var,Abs,No Wrap,Linear,Preferred State,No Null Position,Non-volatile)
0x95, 0x01,        //   Report Count (1)
0x75, 0x03,        //   Report Size (3)
0x91, 0x01,        //   Output (Const,Array,Abs,No Wrap,Linear,Preferred State,No Null Position,Non-volatile)

第 4 到 9 字节代表了按键,可以同时按下 6 个键,这个项目中只支持 1 个。

0x05, 0x07,        //   Usage Page (Kbrd/Keypad)
0x19, 0x00,        //   Usage Minimum (0x00)
0x2A, 0xFF, 0x00,  //   Usage Maximum (0xFF)
0x95, 0x06,        //   Report Count (6)
0x75, 0x08,        //   Report Size (8)

第 10 个字节是保留字段。

0x05, 0xFF,        //   Usage Page (Reserved 0xFF)
0x09, 0x03,        //   Usage (0x03)
0x75, 0x08,        //   Report Size (8)
0x95, 0x01,        //   Report Count (1)

由此可以通过网上找到的鼠标的 Report 结构来写成项目中的包格式。

0x05, 0x01,        // Usage Page (Generic Desktop Ctrls)
0x09, 0x02,        // Usage (Mouse)
0xA1, 0x01,        // Collection (Application)
0x85, 0x02,        //   Report ID (2)
0x09, 0x01,        //   Usage (Pointer)
0xA1, 0x00,        //   Collection (Physical)0x05, 0x09,        //     Usage Page (Button)
0x19, 0x01,        //     Usage Minimum (0x01)
0x29, 0x03,        //     Usage Maximum (0x03)
0x15, 0x00,        //     Logical Minimum (0)
0x25, 0x01,        //     Logical Maximum (1)
0x75, 0x01,        //     Report Size (1)
0x95, 0x03,        //     Report Count (3)
0x81, 0x02,        //     Input (Data,Var,Abs,No Wrap,Linear,Preferred State,No Null Position)
0x75, 0x05,        //     Report Size (5)
0x95, 0x01,        //     Report Count (1)
0x81, 0x01,        //     Input (Const,Array,Abs,No Wrap,Linear,Preferred State,No Null Position)0x05, 0x01,        //     Usage Page (Generic Desktop Ctrls)
0x09, 0x30,        //     Usage (X)
0x09, 0x31,        //     Usage (Y)
0x09, 0x38,        //     Usage (Wheel)
0x15, 0x81,        //     Logical Minimum (-127)
0x25, 0x7F,        //     Logical Maximum (127)
0x75, 0x08,        //     Report Size (8)
0x95, 0x03,        //     Report Count (3)
0x81, 0x06,        //     Input (Data,Var,Rel,No Wrap,Linear,Preferred State,No Null Position)0xC0,              //   End Collection
0xC0,              // End Collection

可以看出 Report ID 变成了了 2,接下来的 1 个字节(3+1*5 bit)代表了鼠标的按键,最后三个字节分别代表 X、Y 和 Wheel 移动的距离,同时也是带符号的。

所以,鼠标的格式可以定义为下:

let bytes: [Int8] = [
//           0b10100001,      // 0 DATA | INPUT (HIDP Bluetooth)-0b01011111,0x02,    // 0 Report IDAction,  // 0 just move 1 left_button 2 middle_button 3 right_buttonRel_X,   // xRel_Y,   // y0x00     // scroll]

为了方便表示 xy 的负数,所以定义成了 Int8 格式,第一个字节也从 UInt8 的 0xA1 变成了 Int8 格式。

由于原先的 sendBytes 方法只支持 [UInt8] 参数,所以需要改成泛型方法 sendBytes(channel: IOBluetoothL2CAPChannel, _ bytes: [T])

4、操作方法

先定义一个 sendMouse 方法

func sendMouse(Action: Int8, Rel_X: Int8, Rel_Y: Int8){sendData(bytes: hidMouseReport(Action: Action, Rel_X: Rel_X, Rel_Y: Rel_Y))
}

Action 为 0 时是移动光标,Action 为 1 时是按下,在按住的过程中,所有操作的 Action 都是 1,当发送 Action 为 0 的包时视为松开操作。

如果想快速体验,可以将键盘触发绑定发送此方法,也可以在程序中循环一段操作。

四、总结

目前只是初步实现了这个想法,后续还有很多工作要做,比如:
1、实现对外的访问接口,例如实现 socket 服务或者 rpc 来让外部调用控制方法。
2、设备管理,多个蓝牙设备之间的控制不能冲突,同时能识别指定的蓝牙设备。
3、封装操作,将原子操作 sendMouse 封装成 Down、Move 和 Up 操作,根据指针的相对位置换算成屏幕的绝对位置,这样就能方便的接到已有的自动化流程中。

原文由 自然生长 发表于TesterHome社区,点击 原文链接 可与作者直接交流。

以上是今天的分享,你学废了吗~
想学习更多干货知识和前沿技术?
想结识测试行业大咖和业界精英?
欢迎关注2022 MTSC大会(第十届中国互联网测试开发大会)>>>

这篇关于IOS 自动化探索——使用蓝牙实现 XCUITest 的 Tap 操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/846548

相关文章

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾

Python ZIP文件操作技巧详解

《PythonZIP文件操作技巧详解》在数据处理和系统开发中,ZIP文件操作是开发者必须掌握的核心技能,Python标准库提供的zipfile模块以简洁的API和跨平台特性,成为处理ZIP文件的首选... 目录一、ZIP文件操作基础三板斧1.1 创建压缩包1.2 解压操作1.3 文件遍历与信息获取二、进阶技