android vr 技术论坛,适用于Android的PowerVR影像架构

在建置低功耗的计算机视觉算法时，存储器带宽是主要面临的瓶颈。幸运的是，Imagination开发了一套创新的解决方案，可解决行动和嵌入式装置的常见问题 ─ 这套解决方案称为 PowerVR Imaging Framework (PowerVR影像架构)。

适用于Android的PowerVR影像架构包含一组OpenCL和EGL应用程序接口(API)的延伸程序，可使在PowerVR GPU上执行的软件能与CPU、ISP和VDE等其它元件有效的互通。这些延伸程序能在横跨多个硬件元件上实现共享的存储器分配与软件的管线建置，而且无需冗余的存储器复制(称为零复制；zero-copy)

此外，延伸程序能实现YUV影像的直接操作，这是许多计算机视觉算法所需要的，同时，还能让GPU原生地读取YUV影像，并在资料从存储器读取到硬件缓存器时直接转换到RGB 格式，因此可避免带宽成本，与其它必须在转换时先在存储器中以RGB格式建立影像复本的方式不同。

图一：Android中的影像处理软件管线 ，在ISP和GPU间建置了零复制流程。

图一所示为在Android中的影像处理软件管线的前端，它在ISP和GPU之间建置了零复制流程。ISP会撷取预先处理好的影像传感器资料，然后写入到系统存储器中的Android Gralloc(绘图配置)缓冲器。在此范例中，ISP会产生YUV NV12格式的影像资料，其亮度和色度资料是储存在两个不同的平面中。然后，GPU读取此影像资料，并各别在Y和UV平面上运算。

PowerVR影像架构是以此方式来配置系统：首先，它被用来实例化(instantiate)两个EGL影像指标(属于EGLImageKHR类型)，指标会被映射到Y和UV平面上；为了实现OpenCL在GPU上的处理，两个OpenCL影像指标(属于image2d_t类型)之后会从EGL影像产生出来。

为了获得此架构的零复制效益，OpenCL核心软件会被写入，所以它能取得两个影像参数和一个取样器。PowerVR GPU会利用专属的硬件模块(称为纹理处理单元，TPU)来执行读取(或取样)这些型态的变量运算。取样的第一个影像会传回亮度(y)值，然后取样的第二个影像会传回包含色度(u, v)对的矢量。

在取样影像时，TPU还可被配置以用来建置影像的内插和边界画素的处理等特性。PowerVR Series6 GPU是以纯量架构为基础，这表示，当运算矢量的个别分量时，不会有效率的损失。

图二：如何将PowerVR影像架构集成至Android中。

图二所示的是如何将PowerVR影像架构集成至Android中，并以图例说明零复制流程。此架构是集成在Android软件堆叠的程序库层，能在不同API之间有效互通，包括OpenCL、OpenGL ES、以及OpenVX等新兴的API。写在这些API中的程序码能在ISP、GPU、CPU和 VDE等底层硬件上通讯并有效地共享资料。

在此范例中，来自ISP的资料讯框会放在存储器中，然后直接串流到GPU进行处理，例如，利用上述解释的零复制建置方式。针对每个输入讯框，GPU会产生一个输出讯框，它会映射到一个EGL_GL_TEXTURE_2D的物件，以便在屏幕上渲染。

在Android中，ISP硬件的存取是由相机的硬件抽象层(HAL)来提供，而VDE硬件的存取是由视讯的HAL提供。因为此架构是集成在程序库层，因此设计人员能以更客制化、差异化的软件解决方案来扩展或取代既有的相机和媒体播放器的应用程序。

读者能从目前已集成于多款行动装置中的PowerVR影像架构中找到多个延伸程序，包括华硕ZenFone 2 ZE551ML 智能型手机 (Intel Atom Z3680处理器、PowerVR G6430 GPU)。

想进一步了解Imagination PowerVR影像架构详细技术方案，欢迎报名参加2015 Imagination 9/9新竹、9/11台北高峰会，将有相关精采演说以及产品展示。研讨会内容请至活动官网查询。