FFMPEG下利用Intel VPP_QSV插件实现基于GPU的图像缩放和色彩空间转换 （二） - C++代码实现

2023-10-29 13:38
文章标签 代码 c++ 实现 图像 ffmpeg 转换 gpu 空间 插件 缩放 vpp 色彩 intel qsv

本文主要是介绍FFMPEG下利用Intel VPP_QSV插件实现基于GPU的图像缩放和色彩空间转换 （二） - C++代码实现，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前面一篇文章弄清楚了VPP_QSV插件的ffmpeg命令行命令，下面开始用C++代码实现VPP_QSV插件的C++代码实现。

 

C++使用滤镜的流程可以参考雷神的文章

最简单的基于FFmpeg的AVfilter的例子-纯净版

基本的流程如图

 

网上讨论FFMPEG硬件加速滤镜编程的文章不算太多，大概是基于GPU硬件的滤镜太依赖硬件导致用的人不多，所以大多数是讨论基于软件滤镜插件的实现方法和过程。硬件滤镜的实现的方法基本类似，但是有2个地方是不一样的。

  1. 硬件滤镜里分配frame buffer需要在显存里分配，所以涉及到要处理AVCodecContext结构体的2个硬件相关的成员变量 hw_device_ctx和hw_frames_ctx，需要按照要求把他们传给对应的filter
  2. 初始化滤镜的位置必须要在ffmpeg解出第一个视频帧以后才能初始化，因为qsv解码器是在第一次调用avcodec_send_packet()后开始解码video frame时才会用callback函数的方式在里面设置有效的hw_frames_ctx，这部分代码之后才能获取正确的hw_frames_ctx并把它传给滤镜的输入端"buffer"。

 

所以在使用Intel QSV硬件加速滤镜的流程就变成了 (Nvidia GPU的硬件加速滤镜流程和Intel的不一样，所以本文没有参考意义）， 其中红色的模块为改动部分

 

流程中的关键函数如下所示：

get_format() 这个是QSV硬件解码时的回调函数，在这里初始化hw_frames_ctx, 一般在开始解码流时会被调用一次

init_filter()  这个在get_format()被调用后才能正常初始话，如果按照雷神的流程在程序开始就初始化会碰到各种各样的错误，怀疑vpp_qsv的初始话需要在qsv decoder初始化之后（个人猜的，代码实在太多了，看不下去)。

av_buffersrc_parameters_set(buffersrc_ctx, ...) 需要把qsv decoder的hw_frames_ctx传给buffersrc滤镜

 

整个代码修改自FFMPEG官方的例程https://github.com/FFmpeg/FFmpeg/blob/master/doc/examples/qsvdec.c

代码里vpp_qsv的设置

//不管原始视频分辨率是多少，一律缩放到1024x768
const char *filter_descr = "vpp_qsv=w=1024:h=768";

代码里主循环部分

//主循环部分，从码流里读一个frame的数据，decode_packet负责解码，如果解出了图像帧则got_frame为1/* actual decoding */while (ret >= 0) {ret = av_read_frame(input_ctx, &pkt);//std::cout << "read_frame" << std::endl;if (ret < 0)break;if (pkt.stream_index == video_st->index){//std::cout << "  -- video_frame" << std::endl;//ret = decode_packet(&decode, decoder_ctx, frame, sw_frame, &pkt, output_ctx);ret = decode_packet(decoder_ctx, frame, &got_frame, &pkt);if (got_frame){//第一次解出图像帧时会初始化一次滤镜if (!filter_ctx->initiallized) {//init buffer/buffersink and vpp filter hereret = init_filter(filter_ctx,filter_ctx->dec_ctx, filter_descr);if (ret < 0)return ret;}//pts is only used for encodingframe->pts = av_frame_get_best_effort_timestamp(frame);//直接显示decode_packet返回的frame, 这是解码器输出的nv12原始数据//display_qsv_frame(frame, sw_frame);ret = get_filtered_frame(frame, filt_frame);//显示滤镜输出的filt_frame,这是硬件做缩放后的nv12数据ret = display_qsv_frame(filt_frame, sw_frame);frm_counter++;av_frame_unref(frame);av_frame_unref(filt_frame);}//std::cout << "  -- frm_counter = " << frm_counter << std::endl;}else{std::cout << "  -------- other_frame" << std::endl;}av_packet_unref(&pkt);}

 

初始化滤镜函数

static int init_filter(FilteringContext* fctx, AVCodecContext *dec_ctx, const char *filter_spec)
{char args[512];int ret = 0;AVFilter *buffersrc = NULL;AVFilter *buffersink = NULL;AVFilterContext *buffersrc_ctx = NULL;AVFilterContext *buffersink_ctx = NULL;AVFilterInOut *outputs = avfilter_inout_alloc();AVFilterInOut *inputs = avfilter_inout_alloc();AVFilterGraph *filter_graph = avfilter_graph_alloc();if (!outputs || !inputs || !filter_graph) {ret = AVERROR(ENOMEM);goto end;}if (dec_ctx->codec_type == AVMEDIA_TYPE_VIDEO) {buffersrc = (AVFilter *)avfilter_get_by_name("buffer");buffersink = (AVFilter *)avfilter_get_by_name("buffersink");if (!buffersrc || !buffersink) {av_log(NULL, AV_LOG_ERROR, "filtering source or sink element not found\n");ret = AVERROR_UNKNOWN;goto end;}snprintf(args, sizeof(args),"video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d"":frame_rate=%d/%d",dec_ctx->width, dec_ctx->height, AV_PIX_FMT_QSV, // dec_ctx->pix_fmt,dec_ctx->time_base.num, dec_ctx->time_base.den,dec_ctx->sample_aspect_ratio.num,dec_ctx->sample_aspect_ratio.den,dec_ctx->framerate.num, dec_ctx->framerate.den);ret = avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in",args, NULL, filter_graph);if (ret < 0) {av_log(NULL, AV_LOG_ERROR, "Cannot create buffer source\n");goto end;}//这里比初始化软件滤镜多的一步，将hw_frames_ctx传给buffersrc, 这样buffersrc就知道传给它的是硬件解码器，数据在显存内if (dec_ctx->hw_frames_ctx) {AVBufferSrcParameters *par = av_buffersrc_parameters_alloc();par->hw_frames_ctx = dec_ctx->hw_frames_ctx;ret = av_buffersrc_parameters_set(buffersrc_ctx, par);av_freep(&par);if (ret < 0)goto end;}ret = avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out",NULL, NULL, filter_graph);if (ret < 0) {av_log(NULL, AV_LOG_ERROR, "Cannot create buffer sink\n");goto end;}}else {ret = AVERROR_UNKNOWN;goto end;}/* Endpoints for the filter graph. */outputs->name = av_strdup("in");outputs->filter_ctx = buffersrc_ctx;outputs->pad_idx = 0;outputs->next = NULL;inputs->name = av_strdup("out");inputs->filter_ctx = buffersink_ctx;inputs->pad_idx = 0;inputs->next = NULL;if (!outputs->name || !inputs->name) {ret = AVERROR(ENOMEM);goto end;}if ((ret = avfilter_graph_parse_ptr(filter_graph, filter_spec,&inputs, &outputs, NULL)) < 0)goto end;if ((ret = avfilter_graph_config(filter_graph, NULL)) < 0)goto end;/* Fill FilteringContext */fctx->buffersrc_ctx = buffersrc_ctx;fctx->buffersink_ctx = buffersink_ctx;fctx->filter_graph = filter_graph;fctx->initiallized = 1;end:avfilter_inout_free(&inputs);avfilter_inout_free(&outputs);return ret;
}

 

运行程序，可以看到不论视频文件分辨率是多少，显示的视频分辨率始终是1024x768, 此时可以看到GPU的占用率，说明解码和缩放都走的是Intel集成显卡硬件。对比传统的硬件解码后调用av_hwframe_transfer_data()读出原始视频数据后再用sws_scale()来做软件缩放并显示，在原始视频是高分辨率时性能提升明显，因为av_hwframe_transfer_data()读原始视频数据时占用了大量的CPU时间和资源, 而使用vpp_qsv滤镜缩放后，从GPU读出视频帧数据的分辨率始终为1024x768。 另外如果使用上篇文章里修改过的FFMPEG库，vpp_qsv还可以顺便把NV12数据转成RGB32, 这样CPU连YUV2RGB都可以省了，直接显示RGB32数据或者简单的把RGB32转成RGB24(NCHW)格式就可以丢给OpenVINO做基于CPU的推理了

 

最后完整项目奉上，仅供参考 https://gitee.com/tisandman/qsv_dec

这篇关于FFMPEG下利用Intel VPP_QSV插件实现基于GPU的图像缩放和色彩空间转换 （二） - C++代码实现的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/300999。

相关文章

基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
【C++ Primer Plus习题】13.4

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<
阅读更多...
C++包装器

C++包装器

包装器 在 C++ 中，“包装器”通常指的是一种设计模式或编程技巧，用于封装其他代码或对象，使其更易于使用、管理或扩展。包装器的概念在编程中非常普遍，可以用于函数、类、库等多个方面。下面是几个常见的 “包装器” 类型： 1. 函数包装器 函数包装器用于封装一个或多个函数，使其接口更统一或更便于调用。例如，std::function 是一个通用的函数包装器，它可以存储任意可调用对象（函数、函数
阅读更多...
C++11第三弹：lambda表达式 | 新的类功能 | 模板的可变参数

C++11第三弹：lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页： 南桥几晴秋 🌈C++专栏： 南桥谈C++ 🌈C语言专栏： C语言学习系列 🌈Linux学习专栏： 南桥谈Linux 🌈数据结构学习专栏： 数据结构杂谈 🌈数据库学习专栏： 南桥谈MySQL 🌈Qt学习专栏： 南桥谈Qt 🌈菜鸡代码练习： 练习随想记录 🌈git学习： 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
活用c4d官方开发文档查询代码

活用c4d官方开发文档查询代码

当你问AI助手比如豆包，如何用python禁止掉xpresso标签时候，它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...
Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸： 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  （注意不能是bmp格式） 替换默认锁屏壁纸： 将图片资源放入vendo
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2