IOS 自动化探索——使用蓝牙实现 XCUITest 的 Tap 操作

2024-03-25 23:08

本文主要是介绍IOS 自动化探索——使用蓝牙实现 XCUITest 的 Tap 操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原文由 自然生长 发表于TesterHome社区,点击 原文链接 可与作者直接交流。

一、前言

远程使用 WeTest 和 Testin 的 ios 设备时,总会觉得操作不流畅,因为它在松开鼠标时, 手机才会动。应该是由于 WDA 中是使用 XCUITest 来实现 Tap 操作,而它的一次操作需要完整的动作链,不能像 Android 中一样分解为 Down、Move、Up 操作。

最近发现了一款名叫虫洞的软件,地址:https://er.run/ ,它可以实现流畅的远程操作。进过研究,发现其原理是通过蓝牙向手机发送蓝牙鼠标操作信号,从而实现一个指针设备来操控设备。

目前只实现了一个 DEMO,在实用性方面还有待提高。

二、基础知识

1、蓝牙 HID 设备

The Human Interface Device (HID) 定义了蓝牙在人机接口设备中的协议、特征和使用规程。典型的应用包括蓝牙鼠标、蓝牙键盘、蓝牙游戏手柄等。该协议改编自 USB HID Protocol。

HID 建立 Control Channel 和 Interrupt Channel 两个通道,Control Channel 通道主要用于传输控制封包,在这个通道传输的封包称为同步封包(synchronous reports),Interrupt Channel 通道传输的封包不需要确认,所以称为异步封包(asynchronous reports)。

不同的设备发送的包是不同的,下文会列举键盘的包和鼠标的包。

2、蓝牙 SDP 协议

SDP 协议让客户机的应用程序发现存在的服务器应用程序提供的服务以及这些服务的属性。SDP 只提供发现服务的机制,不提供使用这些服务的方法。每个蓝牙设备都需要一个 SDP Service,只做 Client 的蓝牙设备除外。

3、蓝牙鼠标信号

和使用 XCUITest 最大的不同是蓝牙鼠标移动的 xy 位置不是屏幕的位置,而是鼠标当前点的相对位置,这点对于实现 Tap 操作是不利的,因为需要将相对位置转换成在屏幕中的绝对位置。

4、IOS 中的辅助控制

与蓝牙键盘不同,支持蓝牙鼠标功能是需要主动开启的,位置在 设置>辅助功能>触控>辅助功能,当蓝牙鼠标信号成功发送后,在手机上会出现一个小圆点,在设置>辅助功能>触控>辅助功能>设备 中也会出现该蓝牙设备。

三、具体实现

1、基础源码

地址:https://github.com/bonyadmitr/XcodeProjects/tree/de6f1b11b2c847b30b900c8a2539e0a30a06c7ba/_mac/Bluetooth-Keyboard-Emulator

这个项目支持 Swift5,但只实现了模拟蓝牙键盘的功能,只要跑起来后,将手机通过蓝牙连接到你的 Mac,然后就能读取你 Mac 的键盘输入转到手机中。PS:Monterey 的蓝牙连接似乎有些问题,ios 设备根本连不上蓝牙。

2、修改 SDP,加入鼠标 Report 结构

在项目中有个 HIDReportDescriptor.txt 的文件,可以看到其中有键盘的 Report 结构,这是需要加在 sdp 协议中的,但它并不是 sdp 协议文件,真正的 sdp 文件是 SerialPortDictionary.plist。

0206 - HIDDescriptorList > item 0 > item 1 > DataElementValue 中是 HIDReportDescriptor.txt 的 Hex 格式,将鼠标的 Report 结构加入其中即可。

3、定义鼠标 Report

我们先看下它已经定义好的键盘 report,需要结合 HIDReportDescriptor.txt 来看。

let bytes: [UInt8] = [0xA1,      // 0 DATA | INPUT (HIDP Bluetooth)0x01,      // 1 Report IDmodifier,  // 2 Modifier Keys0x00,      // 3 ReservedkeyCode,   // 4 Keys ( 6 keys can be held at the same time )0x00,      // 50x00,      // 60x00,      // 70x00,      // 80x00,      // 90x00       // 10 Reserved
]

其中第一个字节 A1 代表它是 HID 设备,第二个字节 Report ID 01 代表是键盘,可以对应0x85, 0x01, // Report ID (1)

接下来 modifier 代表的是功能键,可以表示同时按下多个功能键,例如 0b1 代表按下 control 健,0b10 代表按下 shift 键,0b11 代表同时按下了 control 和 shift 键。

下面第 3 个字节虽然注释上标记了保留字段,但其实它是有意义的,但只在输出时有用,它表示了一些锁,比如大小写锁和小键盘锁。

0x05, 0x08,        //   Usage Page (LEDs)
0x19, 0x01,        //   Usage Minimum (Num Lock)
0x29, 0x05,        //   Usage Maximum (Kana)
0x95, 0x05,        //   Report Count (5)
0x75, 0x01,        //   Report Size (1)
0x91, 0x02,        //   Output (Data,Var,Abs,No Wrap,Linear,Preferred State,No Null Position,Non-volatile)
0x95, 0x01,        //   Report Count (1)
0x75, 0x03,        //   Report Size (3)
0x91, 0x01,        //   Output (Const,Array,Abs,No Wrap,Linear,Preferred State,No Null Position,Non-volatile)

第 4 到 9 字节代表了按键,可以同时按下 6 个键,这个项目中只支持 1 个。

0x05, 0x07,        //   Usage Page (Kbrd/Keypad)
0x19, 0x00,        //   Usage Minimum (0x00)
0x2A, 0xFF, 0x00,  //   Usage Maximum (0xFF)
0x95, 0x06,        //   Report Count (6)
0x75, 0x08,        //   Report Size (8)

第 10 个字节是保留字段。

0x05, 0xFF,        //   Usage Page (Reserved 0xFF)
0x09, 0x03,        //   Usage (0x03)
0x75, 0x08,        //   Report Size (8)
0x95, 0x01,        //   Report Count (1)

由此可以通过网上找到的鼠标的 Report 结构来写成项目中的包格式。

0x05, 0x01,        // Usage Page (Generic Desktop Ctrls)
0x09, 0x02,        // Usage (Mouse)
0xA1, 0x01,        // Collection (Application)
0x85, 0x02,        //   Report ID (2)
0x09, 0x01,        //   Usage (Pointer)
0xA1, 0x00,        //   Collection (Physical)0x05, 0x09,        //     Usage Page (Button)
0x19, 0x01,        //     Usage Minimum (0x01)
0x29, 0x03,        //     Usage Maximum (0x03)
0x15, 0x00,        //     Logical Minimum (0)
0x25, 0x01,        //     Logical Maximum (1)
0x75, 0x01,        //     Report Size (1)
0x95, 0x03,        //     Report Count (3)
0x81, 0x02,        //     Input (Data,Var,Abs,No Wrap,Linear,Preferred State,No Null Position)
0x75, 0x05,        //     Report Size (5)
0x95, 0x01,        //     Report Count (1)
0x81, 0x01,        //     Input (Const,Array,Abs,No Wrap,Linear,Preferred State,No Null Position)0x05, 0x01,        //     Usage Page (Generic Desktop Ctrls)
0x09, 0x30,        //     Usage (X)
0x09, 0x31,        //     Usage (Y)
0x09, 0x38,        //     Usage (Wheel)
0x15, 0x81,        //     Logical Minimum (-127)
0x25, 0x7F,        //     Logical Maximum (127)
0x75, 0x08,        //     Report Size (8)
0x95, 0x03,        //     Report Count (3)
0x81, 0x06,        //     Input (Data,Var,Rel,No Wrap,Linear,Preferred State,No Null Position)0xC0,              //   End Collection
0xC0,              // End Collection

可以看出 Report ID 变成了了 2,接下来的 1 个字节(3+1*5 bit)代表了鼠标的按键,最后三个字节分别代表 X、Y 和 Wheel 移动的距离,同时也是带符号的。

所以,鼠标的格式可以定义为下:

let bytes: [Int8] = [
//           0b10100001,      // 0 DATA | INPUT (HIDP Bluetooth)-0b01011111,0x02,    // 0 Report IDAction,  // 0 just move 1 left_button 2 middle_button 3 right_buttonRel_X,   // xRel_Y,   // y0x00     // scroll]

为了方便表示 xy 的负数,所以定义成了 Int8 格式,第一个字节也从 UInt8 的 0xA1 变成了 Int8 格式。

由于原先的 sendBytes 方法只支持 [UInt8] 参数,所以需要改成泛型方法 sendBytes(channel: IOBluetoothL2CAPChannel, _ bytes: [T])

4、操作方法

先定义一个 sendMouse 方法

func sendMouse(Action: Int8, Rel_X: Int8, Rel_Y: Int8){sendData(bytes: hidMouseReport(Action: Action, Rel_X: Rel_X, Rel_Y: Rel_Y))
}

Action 为 0 时是移动光标,Action 为 1 时是按下,在按住的过程中,所有操作的 Action 都是 1,当发送 Action 为 0 的包时视为松开操作。

如果想快速体验,可以将键盘触发绑定发送此方法,也可以在程序中循环一段操作。

四、总结

目前只是初步实现了这个想法,后续还有很多工作要做,比如:
1、实现对外的访问接口,例如实现 socket 服务或者 rpc 来让外部调用控制方法。
2、设备管理,多个蓝牙设备之间的控制不能冲突,同时能识别指定的蓝牙设备。
3、封装操作,将原子操作 sendMouse 封装成 Down、Move 和 Up 操作,根据指针的相对位置换算成屏幕的绝对位置,这样就能方便的接到已有的自动化流程中。

原文由 自然生长 发表于TesterHome社区,点击 原文链接 可与作者直接交流。

以上是今天的分享,你学废了吗~
想学习更多干货知识和前沿技术?
想结识测试行业大咖和业界精英?
欢迎关注2022 MTSC大会(第十届中国互联网测试开发大会)>>>

这篇关于IOS 自动化探索——使用蓝牙实现 XCUITest 的 Tap 操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/846548

相关文章

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当