无障碍AccessibilityService基本用法

2024-01-14 23:36
文章标签 用法 基本 accessibilityservice 无障碍

本文主要是介绍无障碍AccessibilityService基本用法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、背景

    本文仅用于做学习总结，转换成自己的理解，方便需要时快速查阅，深入研究可以去官网了解更多：官网链接点这里
    之前对接AI语音功能时，发现有些按钮（或文本）在我没有主动注册唤醒词场景下，还是响应了点击，使用profiler跟踪调用堆栈才发现是使用了无障碍服务实现的。因为开发的是系统应用，也没必要主动去打开无障碍服务开关，于是觉得无障碍服务有很大的可发挥空间，于是借助无障碍服务，实现了一个显示当前展示的Window/Activity/Dialog的悬浮窗，用于演示无障碍服务的用法及其强大之处。

二、用法

2.1 新建一个继承AccessibilityService的无障碍服务类，并按需重写回调方法
class AccessibilityTest : AccessibilityService() {override fun onAccessibilityEvent(event: AccessibilityEvent?) {Log.d(TAG, "onAccessibilityEvent: event = $event")}override fun onServiceConnected() {super.onServiceConnected()Log.d(TAG, "onServiceConnected: ")}override fun onUnbind(intent: Intent?): Boolean {Log.d(TAG, "onUnbind: intent = $intent")return super.onUnbind(intent)}override fun onInterrupt() {Log.d(TAG, "onInterrupt: ")}
}
  • onServiceConnected():
        当无障碍服务打开后，有注册的交互事件发生时，如果还没有连接服务，这会先执行连接，并回调这个方法。
        问题：AccessibilityServie继承Service也就是普通的服务，没有绑定前台的notification等可见的界面，会不会在后台过一会儿就断开了，是否会导致某些时候无法捕获到交互的事件？？
  • onAccessibilityEvent(event: AccessibilityEvent?):
        当有注册的交互事件，比如：点击、长按、焦点变化等触发时，会回调这个函数
    • event.getEventType(): 获取事件类型，点击：TYPE_VIEW_CLICKED，长按：TYPE_VIEW_LONG_CLICKED，窗口状态变化：TYPE_WINDOW_STATE_CHANGED，详细的可以查阅AccessibilityService类的EventType注解中有枚举出所有的事件类型。
    • event.getPackName(): 获取交互来自的包名
    • event.getClassName(): 如果是Activity/Dialog则是其类的全路径名，如果是View的话则展示当前的View全路径名。
  • onUnbind(intent: Intent?):
        断开服务时回调，用于处理一些资源释放的逻辑。
  • onInterrupt():
2.2 AndroidManifest.xml文件中注册无障碍服务

    这个步骤和普通的Service注册有些不同，需要配置permission、intent-filter和无障碍服务的xml配置文件，基本都是固定的格式，只是按需改一些配置项。

<serviceandroid:name=".accessibility.AccessibilityTest"android:exported="true"android:label="@string/accessibility_tip"android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"android:process=":BackgroundService"><intent-filter><action android:name="android.accessibilityservice.AccessibilityService" /></intent-filter><meta-dataandroid:name="android.accessibilityservice"android:resource="@xml/accessibility_config" />
</service>
  • service节点配置的label标签会在无障碍服务中展示，比如上面的label内容是“accessibility_tip”，那么在无障碍服务中展示就会如下所示“：
    在这里插入图片描述
    在这里插入图片描述
        在/res/xml目录下，新建一个accessibility_config.xml文件，内容如下：
<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"android:accessibilityEventTypes="typeAllMask"android:accessibilityFeedbackType="feedbackGeneric"android:canRetrieveWindowContent="true"android:description="@string/accessibilty_desc" />

⚠️：如果这里指定了包名（android:packageNames的值，多个包名用英文逗号分隔。）则只会收到对应包名应用的事件。

  • android:description属性设置的就是上面的无障碍中accessibility_tip服务最下面的文案介绍。
  • android:accessibilityEventTypes：指定接收的事件类型
  • android:accessibilityFeedbackType：指定接收的反馈类型
2.3 在AccessibilityTest的onServiceConnected方法中动态设置serviceInfo
  • AccessibilityTest->onServiceConnected(): 通过在Service连接到无障碍服务的回调，调用setServiceInfo方法，可以在在运行时调整无障碍服务的配置：
override fun onServiceConnected() {super.onServiceConnected()Log.d(TAG, "onServiceConnected: ")val accessibilityServiceInfo = AccessibilityServiceInfo()accessibilityServiceInfo.eventTypes = (AccessibilityEvent.TYPE_WINDOWS_CHANGEDor AccessibilityEvent.TYPE_WINDOW_STATE_CHANGEDor AccessibilityEvent.TYPE_VIEW_CLICKEDor AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGEDor AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED)accessibilityServiceInfo.feedbackType = AccessibilityServiceInfo.FEEDBACK_ALL_MASKaccessibilityServiceInfo.notificationTimeout = 0accessibilityServiceInfo.flags = AccessibilityServiceInfo.DEFAULT// 如果这里指定了包名则只会收到对应包名应用的事件accessibilityServiceInfo.packageNames = arrayOf("com.yanggui.animatortest")serviceInfo = accessibilityServiceInfo
}

    完成以上的步骤，然后编译运行安装到手机上，然后从无障碍服务中开启，就能够在AccessibilityTest的onAccessibilityEvent中收到各种交互事件了。

无障碍服务跑起来后，会打印如下log：

// 从无障碍服务中打开accessibility_tip服务回调onServiceConnected方法：
14:25:34.170  D  onServiceConnected:
// 打开当前应用会执行onAccessibilityEvent方法，回调一系列的事件信息，封装在// AccessibilityEvent中
14:26:44.792  D  onAccessibilityEvent: event = EventType: TYPE_VIEW_CLICKED; EventTime: 7897173; PackageName: com.google.android.apps.nexuslauncher; MovementGranularity: 0; Action: 0; ContentChangeTypes: []; WindowChangeTypes: [] [ ClassName: android.widget.TextView; Text: [AnimatorTest]; ContentDescription: AnimatorTest; ItemCount: -1; CurrentItemIndex: -1; Enabled: true; Password: false; Checked: false; FullScreen: false; Scrollable: false; BeforeText: null; FromIndex: -1; ToIndex: -1; ScrollX: 0; ScrollY: 0; MaxScrollX: 0; MaxScrollY: 0; ScrollDeltaX: -1; ScrollDeltaY: -1; AddedCount: -1; RemovedCount: -1; ParcelableData: null ]; recordCount: 0
14:26:44.847  D  onAccessibilityEvent: event = EventType: TYPE_WINDOW_CONTENT_CHANGED; EventTime: 7897231; PackageName: com.google.android.apps.nexuslauncher; MovementGranularity: 0; Action: 0; ContentChangeTypes: [CONTENT_CHANGE_TYPE_SUBTREE]; WindowChangeTypes: [] [ ClassName: android.widget.FrameLayout; Text: []; ContentDescription: null; ItemCount: -1; CurrentItemIndex: -1; Enabled: true; Password: false; Checked: false; FullScreen: false; Scrollable: false; BeforeText: null; FromIndex: -1; ToIndex: -1; ScrollX: 0; ScrollY: 0; MaxScrollX: 0; MaxScrollY: 0; ScrollDeltaX: -1; ScrollDeltaY: -1; AddedCount: -1; RemovedCount: -1; ParcelableData: null ]; recordCount: 0
14:26:44.891  D  onAccessibilityEvent: event = EventType: TYPE_WINDOW_STATE_CHANGED; EventTime: 7897277; PackageName: com.yanggui.animatortest; MovementGranularity: 0; Action: 0; ContentChangeTypes: []; WindowChangeTypes: [] [ ClassName: com.yanggui.animatortest.leanback.RowsSupportFragmentActivity; Text: [AnimatorTest]; ContentDescription: null; ItemCount: -1; CurrentItemIndex: -1; Enabled: true; Password: false; Checked: false; FullScreen: true; Scrollable: false; BeforeText: null; FromIndex: -1; ToIndex: -1; ScrollX: 0; ScrollY: 0; MaxScrollX: 0; MaxScrollY: 0; ScrollDeltaX: -1; ScrollDeltaY: -1; AddedCount: -1; RemovedCount: -1; ParcelableData: null ]; recordCount: 0
14:26:44.952  D  onAccessibilityEvent: event = EventType: TYPE_WINDOW_STATE_CHANGED; EventTime: 7897337; PackageName: com.yanggui.animatortest; MovementGranularity: 0; Action: 0; ContentChangeTypes: []; WindowChangeTypes: [] [ ClassName: com.yanggui.animatortest.leanback.RowsSupportFragmentActivity; Text: [AnimatorTest]; ContentDescription: null; ItemCount: -1; CurrentItemIndex: -1; Enabled: true; Password: false; Checked: false; FullScreen: true; Scrollable: false; BeforeText: null; FromIndex: -1; ToIndex: -1; ScrollX: 0; ScrollY: 0; MaxScrollX: 0; MaxScrollY: 0; ScrollDeltaX: -1; ScrollDeltaY: -1; AddedCount: -1; RemovedCount: -1; ParcelableData: null ]; recordCount: 0
// 从无障碍服务中关闭accessibility_tip服务回调onUnbind方法：
14:24:38.264  D  onUnbind: intent = Intent { cmp=com.yanggui.animatortest/.accessibility.AccessibilityTest }
2.4 附：反馈类型（feedbackType）和事件类型（eventType）的枚举值
  • 反馈类型（feedbackType）：定义在AccessibilityServiceInfo中
@IntDef(flag = true, prefix = { "FEEDBACK_" }, value = {FEEDBACK_AUDIBLE,FEEDBACK_GENERIC,FEEDBACK_HAPTIC,FEEDBACK_SPOKEN,FEEDBACK_VISUAL,FEEDBACK_BRAILLE
})
@Retention(RetentionPolicy.SOURCE)
public @interface FeedbackType {}
  • 事件类型（eventType）：定义在AccessibilityEvent中
@IntDef(flag = true,prefix = {"TYPE_"},value = {TYPE_VIEW_CLICKED, // 点击事件TYPE_VIEW_LONG_CLICKED, // 长按事件TYPE_VIEW_SELECTED, // view选中TYPE_VIEW_FOCUSED, // view上焦，使用遥控操作的需要关注该事件TYPE_VIEW_TEXT_CHANGED, // 表示更改 android.widget.EditText的文本的事件。TYPE_WINDOW_STATE_CHANGED,TYPE_NOTIFICATION_STATE_CHANGED,TYPE_VIEW_HOVER_ENTER,TYPE_VIEW_HOVER_EXIT,TYPE_TOUCH_EXPLORATION_GESTURE_START,TYPE_TOUCH_EXPLORATION_GESTURE_END,TYPE_WINDOW_CONTENT_CHANGED,TYPE_VIEW_SCROLLED,TYPE_VIEW_TEXT_SELECTION_CHANGED,TYPE_ANNOUNCEMENT,TYPE_VIEW_ACCESSIBILITY_FOCUSED,TYPE_VIEW_ACCESSIBILITY_FOCUS_CLEARED,TYPE_VIEW_TEXT_TRAVERSED_AT_MOVEMENT_GRANULARITY,TYPE_GESTURE_DETECTION_START,TYPE_GESTURE_DETECTION_END,TYPE_TOUCH_INTERACTION_START,TYPE_TOUCH_INTERACTION_END,TYPE_WINDOWS_CHANGED,TYPE_VIEW_CONTEXT_CLICKED,TYPE_ASSIST_READING_CONTEXT,TYPE_SPEECH_STATE_CHANGE})@Retention(RetentionPolicy.SOURCE)public @interface EventType {}

三、实现展示当前Activity/Dialog/Window信息的悬浮窗

    如上介绍的，无障碍服务是能够获取到各种交互事件，从onAccessibilityEvent回调中可轻松拿到交互控件的packageName和className，所以基于无障碍服务能力的支持，也就很容易实现悬浮展示当前Activity的功能了。

3.1 全局悬浮窗的实现
  • 这个业务点的关键知识点是能全局悬浮，且不依赖Activity类型context，也就是不需要windowToken参数的window类型。
private const val TAG = "TopActivityEvent"
class TopActivityEventWindow {companion object {@SuppressLint("StaticFieldLeak")private var rootView: View? = null@SuppressLint("StaticFieldLeak")private var tvContent: TextView? = null@SuppressLint("StaticFieldLeak")private var window: TopActivityEventWindow? = null@SuppressLint("StaticFieldLeak")fun showEvent(ctx: Context, pkgName: String?, activityClassName: String?) {if (window == null) {initEventWindow(ctx)}if (!pkgName.isNullOrBlank() && !activityClassName.isNullOrBlank()) {tvContent?.text = "$pkgName\n$activityClassName"} else {Log.e(TAG, "showEvent: pkgName = $pkgName, activityClassName = $activityClassName")}}private fun initEventWindow(ctx: Context) {rootView =LayoutInflater.from(ctx).inflate(R.layout.layout_top_activity_window, null, false)val windowManager = ctx.getSystemService(Context.WINDOW_SERVICE) as? WindowManagerwindowManager?.apply {val lp = WindowManager.LayoutParams(WindowManager.LayoutParams.WRAP_CONTENT, WindowManager.LayoutParams.WRAP_CONTENT)lp.type = if (Build.VERSION.SDK_INT <= Build.VERSION_CODES.N) {WindowManager.LayoutParams.TYPE_TOAST} else if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {// android31及以上 需要使用TYPE_APPLICATION_OVERLAY才能展示，使用ALERT_WINDOW会报没有权限WindowManager.LayoutParams.TYPE_APPLICATION_OVERLAY} else {WindowManager.LayoutParams.TYPE_SYSTEM_ALERT}lp.flags = WindowManager.LayoutParams.FLAG_NOT_FOCUSABLE or WindowManager.LayoutParams.FLAG_NOT_TOUCHABLElp.gravity = Gravity.TOP or Gravity.LEFTlp.format = PixelFormat.TRANSLUCENTaddView(rootView, lp)}tvContent = rootView?.findViewById(R.id.top_activity_window_text)window = TopActivityEventWindow()}fun dismiss(ctx: Context) {if (window != null) {val windowManager = ctx.getSystemService(Context.WINDOW_SERVICE) as? WindowManagerwindowManager?.removeView(rootView)tvContent = nullrootView = nullwindow = null}}}
}
3.1 在无障碍服务的onAccessibilityEvent中调用悬浮窗的展示逻辑
override fun onAccessibilityEvent(event: AccessibilityEvent?) {Log.d(TAG, "onAccessibilityEvent: event = $event")if (event?.eventType == AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED) {TopActivityEventWindow.showEvent(this.applicationContext, "${event.packageName}", "${event.className}")}}
3.2 实现的实际效果
  • 捕获pixel3a-api33模拟器的Launcher展示效果：
    在这里插入图片描述
  • 自己的demo app的主页获取效果：
    在这里插入图片描述
  • Dialog的捕获效果：
    在这里插入图片描述
  • PopupWindow获取不到待解决！！

四、总结

    以上是自定义Android的无障碍服务的基本用法。在清单文件中注册CustomAccessibilityService、在meta-datade android.accessibilityservice为key，填写配置文件xml的路径，然后重写onAccessiblityEvent()方法拿到交互事件、packageName、className，最后只要在系统设置-无障碍打开，就能很轻松实现一个自己的无障碍服务。
    但是无障碍服务支持的能力还远不止于此，还能实现很多丰富的功能，比如：触发指定控件的点击，从而配合语音识别实现点击、跳转等业务逻辑，需要我们进一步阅读官方文档进行学习实践总结。

这篇关于无障碍AccessibilityService基本用法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/606904。

相关文章

基本知识点

基本知识点

1、c++的输入加上ios::sync_with_stdio(false);  等价于 c的输入，读取速度会加快（但是在字符串的题里面和容易出现问题） 2、lower_bound()和upper_bound() iterator lower_bound( const key_type &key ): 返回一个迭代器，指向键值>= key的第一个元素。 iterator upper_bou
阅读更多...
【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站，手机流量可以访问IPV6网络的服务，为什么不在电脑搭建Home Assistant（hass），来控制你的设备呢？@智能家居 @万物互联
阅读更多...
bytes.split的用法和注意事项

bytes.split的用法和注意事项

当然，我很乐意详细介绍 bytes.Split 的用法和注意事项。这个函数是 Go 标准库中 bytes 包的一个重要组成部分，用于分割字节切片。 基本用法 bytes.Split 的函数签名如下： func Split(s, sep []byte) [][]byte s 是要分割的字节切片sep 是用作分隔符的字节切片返回值是一个二维字节切片，包含分割后的结果 基本使用示例： pa
阅读更多...
C 语言的基本数据类型

C 语言的基本数据类型

C 语言的基本数据类型 注：本文面向 C 语言初学者，如果你是熟手，那就不用看了。 有人问我，char、short、int、long、float、double 等这些关键字到底是什么意思，如果说他们是数据类型的话，那么为啥有这么多数据类型呢？ 如果写了一句： int a; 那么执行的时候在内存中会有什么变化呢？ 橡皮泥大家都玩过吧，一般你买橡皮泥的时候，店家会赠送一些模板。 上
阅读更多...
FreeRTOS-基本介绍和移植STM32

FreeRTOS-基本介绍和移植STM32

FreeRTOS-基本介绍和STM32移植 一、裸机开发和操作系统开发介绍二、任务调度和任务状态介绍2.1 任务调度2.1.1 抢占式调度2.1.2 时间片调度 2.2 任务状态 三、FreeRTOS源码和移植STM323.1 FreeRTOS源码3.2 FreeRTOS移植STM323.2.1 代码移植3.2.2 时钟中断配置 一、裸机开发和操作系统开发介绍 裸机：前后台系
阅读更多...
Java 多线程的基本方式

Java 多线程的基本方式

Java 多线程的基本方式 基础实现两种方式： 通过实现Callable 接口方式（可得到返回值)：
阅读更多...
UVM：callback机制的意义和用法

UVM：callback机制的意义和用法

1. 作用         Callback机制在UVM验证平台，最大用处就是为了提高验证平台的可重用性。在不创建复杂的OOP层次结构前提下，针对组件中的某些行为，在其之前后之后，内置一些函数，增加或者修改UVM组件的操作，增加新的功能，从而实现一个环境多个用例。此外还可以通过Callback机制构建异常的测试用例。 2. 使用步骤         （1）在UVM组件中内嵌callback函
阅读更多...
Java基础回顾系列-第一天-基本语法

Java基础回顾系列-第一天-基本语法

基本语法 Java基础回顾系列-第一天-基本语法基础常识人机交互方式常用的DOS命令什么是计算机语言(编程语言) Java语言简介Java程序运行机制Java虚拟机（Java Virtual Machine）垃圾收集机制（Garbage Collection） Java语言的特点面向对象健壮性跨平台性 编写第一个Java程序什么是JDK, JRE下载及安装 JDK配置环境变量 pathHe
阅读更多...
这些ES6用法你都会吗?

这些ES6用法你都会吗?

一 关于取值 取值在程序中非常常见,比如从对象obj中取值 const obj = {a:1b:2c:3d:4} 吐槽: const a = obj.a;const b = obj.b;const c = obj.c;//或者const f = obj.a + obj.b;const g = obj.c + obj.d; 改进:用ES6解构赋值
阅读更多...
Gradle的基本使用

Gradle的基本使用

新建一个项目后，在项目文件夹下创建build.gradle文件,并加入内容：       apply plugin: 'eclipse'。    然后在终端运行gradle eclipse即可构建eclipse IDE的开发环境。    gradle默认值：gradle有些目录是有默认值存在,建议项目的配置，承袭了maven的风格，如：         java的源码目录：src/mai
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2