鸿蒙(API 12 Beta6版)图形加速【OpenGL ES平台内插模式】超帧功能开发

2024-09-06 20:52

本文主要是介绍鸿蒙(API 12 Beta6版)图形加速【OpenGL ES平台内插模式】超帧功能开发,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

超帧内插模式是利用相邻两个真实渲染帧进行超帧计算生成中间的预测帧,即利用第N-1帧和第N帧真实渲染帧预测第N-0.5帧预测帧,如下图所示。由于中间预测帧的像素点通常能在前后两帧中找到对应位置,因此内插模式的预测帧效果较外插模式更优。由于第N帧真实渲染帧需要等待第N-0.5帧预测帧生成并送显后才能最终送显,因此会新增1~2帧的响应时延。

1

OpenGL ES平台

业务流程

基于OpenGL ES图形API平台,集成超帧内插模式的主要业务流程如下:

2

  1. 用户进入超帧适用的游戏场景。
  2. 游戏应用调用[HMS_FG_CreateContext_GLES]接口创建超帧上下文实例。
  3. 游戏应用调用接口配置超帧实例属性。包括调用[HMS_FG_SetAlgorithmMode_GLES](必选)设置超帧算法模式并选择内插模式;调用[HMS_FG_SetResolution_GLES](必选)设置超帧输入输出图像分辨率;调用[HMS_FG_SetCvvZSemantic_GLES](可选)设置齐次裁剪空间Z/W范围及深度测试函数;调用[HMS_FG_SetImageFormat_GLES](可选)设置真实渲染帧颜色缓冲区图像格式;如果颜色缓冲区相对深度模板缓冲区基于y轴翻转180度,则调用[HMS_FG_SetDepthStencilYDirectionInverted_GLES](可选)设置翻转状态。
  4. 游戏应用调用[HMS_FG_Activate_GLES]接口激活超帧上下文实例。
  5. 游戏应用调用[HMS_FG_Dispatch_GLES]接口并传入历史真实渲染帧颜色信息、深度信息、相机矩阵信息,生成预测帧,并更新预测帧缓冲区。当相机视图投影矩阵的平移分量非常大时(如超过10W),预测帧效果下降,画面易出现闪烁。此时可在[HMS_FG_Dispatch_GLES]接口调用前调用[HMS_FG_SetExtendedCameraInfo_GLES]设置相机扩展信息,从而获取精度更高的预测帧效果。
  6. 预测帧绘制UI并送显。
  7. 绘制缓存中的上一帧真实渲染帧,并绘制UI。
  8. 上一帧真实渲染帧送显。
  9. 渲染游戏场景获取真实渲染帧,缓存真实渲染帧颜色信息、深度信息、相机矩阵等信息,用于后续超帧预测。由于内插模式真实帧需要等待前一帧预测帧绘制并送显后再送显,因此此处缓存一帧真实帧信息。跳转至序号5继续执行,直到退出游戏场景。
  10. 用户退出超帧适用的游戏场景。
  11. 游戏应用调用[HMS_FG_DestroyContext_GLES]接口销毁超帧上下文实例并释放内存资源。

开发步骤

本节阐述基于OpenGL ES图形API平台的超帧调用示例。

  1. 引用Graphics Accelerate Kit超帧头文件:frame_generation_gles.h。
// 引用超帧frame_generation_gles.h头文件
#include <graphics_game_sdk/frame_generation_gles.h>
  1. 编写CMakeLists.txt。
find_library(# Sets the name of the path variable.framegeneration-lib# Specifies the name of the NDK library that you want CMake to locate.libframegeneration.so
)target_link_libraries(entry PUBLIC${framegeneration-lib}
)
  1. 调用[HMS_FG_CreateContext_GLES]接口创建超帧上下文实例。
// 创建超帧上下文实例
FG_Context_GLES* context_ = HMS_FG_CreateContext_GLES();
if (context_ == nullptr) {return false;
}
  1. 调用超帧实例属性配置接口,超帧算法模式选择内插模式。

    // 初始化超帧接口调用错误码FG_ErrorCode errorCode = FG_SUCCESS;
    // 超帧算法模式FG_AlgorithmModeInfo aInfo{};aInfo.predictionMode = FG_PREDICTION_MODE_INTERPOLATION;                  // 内插模式aInfo.meMode = FG_ME_MODE_BASIC;                                          // 运动估计基础模式errorCode = HMS_FG_SetAlgorithmMode_GLES(context_, &aInfo);               // [必选] 设置超帧算法模式if (errorCode != FG_SUCCESS) {    return false;}
    // 真实帧颜色缓冲区分辨率FG_Dimension2D inputColorResolution{};                                    inputColorResolution.width = 1280;                                        // 真实帧颜色缓冲区图像宽度inputColorResolution.height = 720;                                        // 真实帧颜色缓冲区图像高度// 真实帧深度模板缓冲区分辨率FG_Dimension2D inputDepthStencilResolution{};                             inputDepthStencilResolution.width = 1280;                                 // 真实帧深度模板缓冲区图像宽度inputDepthStencilResolution.height = 720;                                 // 真实帧深度模板缓冲区图像高度// 预测帧分辨率FG_Dimension2D outputColorResolution{};                                    outputColorResolution.width = 1280;                                       // 预测帧图像宽度outputColorResolution.height = 720;                                       // 预测帧图像高度// 超帧输入输出图像分辨率FG_ResolutionInfo rInfo{};rInfo.inputColorResolution = inputColorResolution;rInfo.inputDepthStencilResolution = inputDepthStencilResolution;rInfo.outputColorResolution = outputColorResolution;errorCode = HMS_FG_SetResolution_GLES(context_, &rInfo);                  // [必选] 设置超帧输入输出图像分辨率if (errorCode != FG_SUCCESS) {    return false;}
    // [可选] 设置齐次裁剪空间Z/W范围及深度测试模式,接口不调用时默认为FG_CVV_Z_SEMANTIC_MINUS_ONE_TO_ONE_FORWARD_ZerrorCode = HMS_FG_SetCvvZSemantic_GLES(context_, FG_CVV_Z_SEMANTIC_MINUS_ONE_TO_ONE_FORWARD_Z);if (errorCode != FG_SUCCESS) {    return false;}
    // [可选] 设置真实渲染帧颜色缓冲区图像格式,接口不调用时默认为FG_FORMAT_R8G8B8A8_UNORMerrorCode = HMS_FG_SetImageFormat_GLES(context_, FG_FORMAT_R8G8B8A8_UNORM);if (errorCode != FG_SUCCESS) {    return false;}
    // [可选] 当颜色缓冲区相对深度模板缓冲区基于y轴翻转180度时,设置第二个参数为true,接口不调用时默认为falseerrorCode = HMS_FG_SetDepthStencilYDirectionInverted_GLES(context_, true);if (errorCode != FG_SUCCESS) {    return false;}
    
  2. 调用[HMS_FG_Activate_GLES]接口激活超帧上下文实例。

// 激活超帧上下文实例
errorCode = HMS_FG_Activate_GLES(context_);
if (errorCode != FG_SUCCESS) {return false;
}
  1. 游戏运行中,真实帧和预测帧交替渲染并送显。渲染真实帧时,缓存颜色信息、深度信息和相机矩阵等属性信息。渲染预测帧时,需调用[HMS_FG_Dispatch_GLES]接口并传入上一帧真实帧属性信息,指定预测帧缓冲区索引,生成预测帧,最终更新预测帧缓冲区内存。
// 帧计数
uint32_t frameNum = 0;
// 帧生成属性配置结构体
FG_DispatchDescription_GLES dispatchDescriptionData_ {.inputColor = 0U, .inputDepthStencil = 0U, .viewProj{}, .invViewProj{}, .outputColor = 0U
};// 变量声明
uint32_t inputColor = 0;
uint32_t inputDepthStencil = 0;
uint32_t outputColor = 0;
FG_Mat4x4 preViewProj;
FG_Mat4x4 preInvViewProj;// 帧循环
while (true) {frameNum += 1;if ((frameNum & 1) != 0) { // 预测帧渲染阶段    // 传入上一帧真实渲染帧颜色缓冲区索引dispatchDescriptionData_.inputColor = inputColor;// 传入上一帧真实渲染帧深度模板缓冲区索引dispatchDescriptionData_.inputDepthStencil = inputDepthStencil;// 传入预测帧缓冲区索引dispatchDescriptionData_.outputColor = outputColor;// 传入上一帧真实渲染帧视图投影矩阵dispatchDescriptionData_.viewProj = preViewProj;// 传入上一帧真实渲染帧视图投影逆矩阵dispatchDescriptionData_.invViewProj= preInvViewProj;// [可选] 当视图投影矩阵的平移分量非常大时,可提供相机扩展属性信息获得更加准确的超帧效果FG_PerFrameExtendedCameraInfo info;errorCode = HMS_FG_SetExtendedCameraInfo_GLES(context_, &info);// 生成预测帧,更新预测帧缓冲区的内存errorCode = HMS_FG_Dispatch_GLES(context_, &dispatchDescriptionData_);switch (errorCode) {case FG_SUCCESS: { // 生成预测帧成功// 绘制预测帧// ...// 绘制UI// ...// 预测帧送显// ...break;}case FG_COLLECTING_PREVIOUS_FRAMES:// 传入真实帧数量未达到固定阈值,无预测帧生成,基础内插模式传入真实帧数量<2时返回该状态码,此时不要将预测帧送显break;default:// 预测帧生成失败return false;}} else { // 真实帧渲染阶段            // 绘制缓存中的上一帧真实帧// ...// 绘制UI// ...// 渲染当前帧渲染画面,缓存颜色、深度、相机矩阵等信息,用于下一帧预测帧生成// ...// 送显缓存中的上一帧真实帧// ...}
}
  1. 调用[HMS_FG_DestroyContext_GLES]接口销毁超帧实例,释放内存资源。
// 销毁超帧上下文实例并释放内存资源
errorCode = HMS_FG_DestroyContext_GLES(&context_);
if (errorCode != FG_SUCCESS) {return false;
}

最后呢

很多开发朋友不知道需要学习那些鸿蒙技术?鸿蒙开发岗位需要掌握那些核心技术点?为此鸿蒙的开发学习必须要系统性的进行。

而网上有关鸿蒙的开发资料非常的少,假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料,少走很多弯路,节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了(ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等)鸿蒙(Harmony NEXT)技术知识点

如果你是一名Android、Java、前端等等开发人员,想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。

在这里插入图片描述

针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说,我们直接看详细鸿蒙(OpenHarmony )手册(共计1236页)与鸿蒙(OpenHarmony )开发入门视频,帮助大家在技术的道路上更进一步。

  • 《鸿蒙 (OpenHarmony)开发学习视频》
  • 《鸿蒙生态应用开发V2.0白皮书》
  • 《鸿蒙 (OpenHarmony)开发基础到实战手册》
  • OpenHarmony北向、南向开发环境搭建
  • 《鸿蒙开发基础》
  • 《鸿蒙开发进阶》
  • 《鸿蒙开发实战》

在这里插入图片描述

总结

鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程,从而开设鸿蒙课程;企业纷纷跟进启动了鸿蒙研发。

并且鸿蒙是完全具备无与伦比的机遇和潜力的;预计到年底将有 5,000 款的应用完成原生鸿蒙开发,未来将会支持 50 万款的应用。那么这么多的应用需要开发,也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长,学习鸿蒙势在必行! 自↓↓↓拿
1

这篇关于鸿蒙(API 12 Beta6版)图形加速【OpenGL ES平台内插模式】超帧功能开发的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143094

相关文章

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

Java设计模式---迭代器模式(Iterator)解读

《Java设计模式---迭代器模式(Iterator)解读》:本文主要介绍Java设计模式---迭代器模式(Iterator),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录1、迭代器(Iterator)1.1、结构1.2、常用方法1.3、本质1、解耦集合与遍历逻辑2、统一

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

mysql表操作与查询功能详解

《mysql表操作与查询功能详解》本文系统讲解MySQL表操作与查询,涵盖创建、修改、复制表语法,基本查询结构及WHERE、GROUPBY等子句,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友跟随... 目录01.表的操作1.1表操作概览1.2创建表1.3修改表1.4复制表02.基本查询操作2.1 SE

Golang如何用gorm实现分页的功能

《Golang如何用gorm实现分页的功能》:本文主要介绍Golang如何用gorm实现分页的功能方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录背景go库下载初始化数据【1】建表【2】插入数据【3】查看数据4、代码示例【1】gorm结构体定义【2】分页结构体

SpringBoot开发中十大常见陷阱深度解析与避坑指南

《SpringBoot开发中十大常见陷阱深度解析与避坑指南》在SpringBoot的开发过程中,即使是经验丰富的开发者也难免会遇到各种棘手的问题,本文将针对SpringBoot开发中十大常见的“坑... 目录引言一、配置总出错?是不是同时用了.properties和.yml?二、换个位置配置就失效?搞清楚加

Java Web实现类似Excel表格锁定功能实战教程

《JavaWeb实现类似Excel表格锁定功能实战教程》本文将详细介绍通过创建特定div元素并利用CSS布局和JavaScript事件监听来实现类似Excel的锁定行和列效果的方法,感兴趣的朋友跟随... 目录1. 模拟Excel表格锁定功能2. 创建3个div元素实现表格锁定2.1 div元素布局设计2.

Python中对FFmpeg封装开发库FFmpy详解

《Python中对FFmpeg封装开发库FFmpy详解》:本文主要介绍Python中对FFmpeg封装开发库FFmpy,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、FFmpy简介与安装1.1 FFmpy概述1.2 安装方法二、FFmpy核心类与方法2.1 FF

HTML5实现的移动端购物车自动结算功能示例代码

《HTML5实现的移动端购物车自动结算功能示例代码》本文介绍HTML5实现移动端购物车自动结算,通过WebStorage、事件监听、DOM操作等技术,确保实时更新与数据同步,优化性能及无障碍性,提升用... 目录1. 移动端购物车自动结算概述2. 数据存储与状态保存机制2.1 浏览器端的数据存储方式2.1.

基于 HTML5 Canvas 实现图片旋转与下载功能(完整代码展示)

《基于HTML5Canvas实现图片旋转与下载功能(完整代码展示)》本文将深入剖析一段基于HTML5Canvas的代码,该代码实现了图片的旋转(90度和180度)以及旋转后图片的下载... 目录一、引言二、html 结构分析三、css 样式分析四、JavaScript 功能实现一、引言在 Web 开发中,