Android SurfaceTexture简析

2024-05-04 03:48

本文主要是介绍Android SurfaceTexture简析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

https://www.jianshu.com/p/b19a0f49d4ac

 

Android SurfaceTexture简析

96 Jimmy2012 关注

 0.3 2017.10.29 23:48* 字数 879 阅读 5169评论 1喜欢 5

简介

最近工作中接触到SurfaceTexture,因此打算分析一下SurfaceTexture的原理,提到SurfaceTexture一般会提到与它相关的SurfaceView、GLSurfaceView、TextureView,这几个都可以将图形生产者的数据(比如Camera)送到SurfaceFlinger中显示,而SurfaceTexture可以看做Surface和Texture的组合,是将图形生产者的数据送到Texture,然后是由应用程序自己来处理。这里的Texture应该是属于opengl的概念,由于本人对这块不熟,等后续熟悉了再来分析Texture吧。

调用流程

一般SurfaceTexture的调用流程如下所示:

图一

应用程序会先创建一个SurfaceTexture,然后将SurfaceTexture传递给图形生产者对象(比如Camera,通过调用setPreviewTexture传递),图形生产者对象生产一帧数据后,会回调onFrameAvailable通知应用程序有新的图像数据可以使用,应用程序就可以调用updateTexImage将图像数据先送到Texture,之后就可以调用opengl接口做些具体的业务了。

下面说说具体的流程吧。

step1到step13

这几个流程就是初始化SurfaceTexture,在native层创建了BufferQueue、GLConsumer、JNISurfaceTextureContext,BufferQueue提供图形生产者消费者机制,具体内容请见Android BufferQueue简析,GLConsumer就是SurfaceTexture的图形消费者,即通过调用opengl接口将图形生产者的图像数据送到Texture,JNISurfaceTextureContext是个简单的代理对象,持有java层的SurfaceTexture对象,完成帧可用事件回调。

主要类的关系如下所示,绿色的为java层的SurfaceTexture对象,黄色的都是native层的对象,可见SurfaceTexture功能基本都在native层实现,java层的SurfaceTexture对象的mSurfaceTexture成员指向的是native层的GLConsumer对象,mProducer成员指向的是native层的BufferQueueProducer对象,当将SurfaceTexture对象传给图形生产者对象比如Camera时,就可以从该成员获取到native层的BufferQueueProducer,用于生产者对象输出。如下所示:

static void android_hardware_Camera_setPreviewTexture(JNIEnv *env,jobject thiz, jobject jSurfaceTexture)
{ALOGV("setPreviewTexture");sp<Camera> camera = get_native_camera(env, thiz, NULL);if (camera == 0) return;sp<IGraphicBufferProducer> producer = NULL;if (jSurfaceTexture != NULL) {producer = SurfaceTexture_getProducer(env, jSurfaceTexture);if (producer == NULL) {jniThrowException(env, "java/lang/IllegalArgumentException","SurfaceTexture already released in setPreviewTexture");return;}}if (camera->setPreviewTarget(producer) != NO_ERROR) {jniThrowException(env, "java/io/IOException","setPreviewTexture failed");}
}

mFrameAvailableListener成员指向的是native层的JNISurfaceTextureContext对象,JNISurfaceTextureContext是OnFrameAvailableListener从native到java的跳板。

该类图与Android BufferQueue简析图三的类图很像,那张类图说的是显示流程中的主要类之间的关系,可见SurfaceTexture和SurfaceView原理上基本相似,BufferQueue都是其核心,当然也有一些不同的地方,比如SurfaceTexture的BufferQueue是在应用程序进程这边创建的,而SurfaceView对应的BufferQueue是在SurfaceFlinger进程创建的。

图二

step14到step16

这几个流程就是图形生产者生产一帧数据后,通过BufferQueueCore层层调用,最后回调OnFrameAvailableListener的onFrameAvailable,通知Listener有新的图像数据可以使用,一般应用程序会实现该Listener以接收通知。

step17到step35

这几个流程就是从BufferQueueCore取出图形生产者生产的帧数据GraphicBuffer,然后调用opengl接口将GraphicBuffer更新到Texture上,等熟悉了opengl再来分析。

step36到step36

应用程序一般还会根据需要调用getTransformMatrix、getTimestamp获取矩阵和时间戳信息,这些信息是在调用updateTexImage时更新的。

通过以上分析,可见要理解SurfaceTexture的关键是要理解BufferQueue和opengl,BufferQueue已经分析过了,opengl等后续熟悉了再抽空分析吧。

这篇关于Android SurfaceTexture简析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958277

相关文章

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

Android自定义Scrollbar的两种实现方式

《Android自定义Scrollbar的两种实现方式》本文介绍两种实现自定义滚动条的方法,分别通过ItemDecoration方案和独立View方案实现滚动条定制化,文章通过代码示例讲解的非常详细,... 目录方案一:ItemDecoration实现(推荐用于RecyclerView)实现原理完整代码实现

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

Android WebView无法加载H5页面的常见问题和解决方法

《AndroidWebView无法加载H5页面的常见问题和解决方法》AndroidWebView是一种视图组件,使得Android应用能够显示网页内容,它基于Chromium,具备现代浏览器的许多功... 目录1. WebView 简介2. 常见问题3. 网络权限设置4. 启用 JavaScript5. D

Android如何获取当前CPU频率和占用率

《Android如何获取当前CPU频率和占用率》最近在优化App的性能,需要获取当前CPU视频频率和占用率,所以本文小编就来和大家总结一下如何在Android中获取当前CPU频率和占用率吧... 最近在优化 App 的性能,需要获取当前 CPU视频频率和占用率,通过查询资料,大致思路如下:目前没有标准的

Android开发中gradle下载缓慢的问题级解决方法

《Android开发中gradle下载缓慢的问题级解决方法》本文介绍了解决Android开发中Gradle下载缓慢问题的几种方法,本文给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、网络环境优化二、Gradle版本与配置优化三、其他优化措施针对android开发中Gradle下载缓慢的问

Android 悬浮窗开发示例((动态权限请求 | 前台服务和通知 | 悬浮窗创建 )

《Android悬浮窗开发示例((动态权限请求|前台服务和通知|悬浮窗创建)》本文介绍了Android悬浮窗的实现效果,包括动态权限请求、前台服务和通知的使用,悬浮窗权限需要动态申请并引导... 目录一、悬浮窗 动态权限请求1、动态请求权限2、悬浮窗权限说明3、检查动态权限4、申请动态权限5、权限设置完毕后

Android里面的Service种类以及启动方式

《Android里面的Service种类以及启动方式》Android中的Service分为前台服务和后台服务,前台服务需要亮身份牌并显示通知,后台服务则有启动方式选择,包括startService和b... 目录一句话总结:一、Service 的两种类型:1. 前台服务(必须亮身份牌)2. 后台服务(偷偷干

Android kotlin语言实现删除文件的解决方案

《Androidkotlin语言实现删除文件的解决方案》:本文主要介绍Androidkotlin语言实现删除文件的解决方案,在项目开发过程中,尤其是需要跨平台协作的项目,那么删除用户指定的文件的... 目录一、前言二、适用环境三、模板内容1.权限申请2.Activity中的模板一、前言在项目开发过程中,尤