英伟达CUVID硬解，并通过FFmpeg读取文件

2023-12-06 19:38
文章标签 读取 ffmpeg 伟达 硬解 cuvid

本文主要是介绍英伟达CUVID硬解，并通过FFmpeg读取文件，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

      虽然FFmpeg本身有cuvid硬解，但是找不到什么好的资料，英伟达的SDK比较容易懂，参考FFmpeg源码，将NVIDIA VIDEO CODEC SDK的数据获取改为FFmpeg获取，弥补原生SDK不能以流作为数据源的不足。所用SDK版本为Video_Codec_SDK_7.1.9，英伟达官网可下载。

1.修改数据源

    首先是FFmpeg的一些常规的初始化

复制代码 
bool VideoSource::init(const std::string sFileName, FrameQueue *pFrameQueue)
{assert(0 != pFrameQueue);oSourceData_.hVideoParser = 0;oSourceData_.pFrameQueue = pFrameQueue;int                i;AVCodec            *pCodec;av_register_all();avformat_network_init();pFormatCtx = avformat_alloc_context();if (avformat_open_input(&pFormatCtx, sFileName.c_str(), NULL, NULL) != 0){printf("Couldn't open input stream.\n");return false;}if (avformat_find_stream_info(pFormatCtx, NULL)<0){printf("Couldn't find stream information.\n");return false;}videoindex = -1;for (i = 0; i<pFormatCtx->nb_streams; i++)if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){videoindex = i;break;}if (videoindex == -1){printf("Didn't find a video stream.\n");return false;}pCodecCtx = pFormatCtx->streams[videoindex]->codec;pCodec = avcodec_find_decoder(pCodecCtx->codec_id);if (pCodec == NULL){printf("Codec not found.\n");return false;}//Output Info-----------------------------printf("--------------- File Information ----------------\n");av_dump_format(pFormatCtx, 0, sFileName.c_str(), 0);printf("-------------------------------------------------\n");memset(&g_stFormat, 0, sizeof(CUVIDEOFORMAT));switch (pCodecCtx->codec_id) {case AV_CODEC_ID_H263:g_stFormat.codec = cudaVideoCodec_MPEG4;break;case AV_CODEC_ID_H264:g_stFormat.codec = cudaVideoCodec_H264;break;case AV_CODEC_ID_HEVC:g_stFormat.codec = cudaVideoCodec_HEVC;break;case AV_CODEC_ID_MJPEG:g_stFormat.codec = cudaVideoCodec_JPEG;break;case AV_CODEC_ID_MPEG1VIDEO:g_stFormat.codec = cudaVideoCodec_MPEG1;break;case AV_CODEC_ID_MPEG2VIDEO:g_stFormat.codec = cudaVideoCodec_MPEG2;break;case AV_CODEC_ID_MPEG4:g_stFormat.codec = cudaVideoCodec_MPEG4;break;case AV_CODEC_ID_VP8:g_stFormat.codec = cudaVideoCodec_VP8;break;case AV_CODEC_ID_VP9:g_stFormat.codec = cudaVideoCodec_VP9;break;case AV_CODEC_ID_VC1:g_stFormat.codec = cudaVideoCodec_VC1;break;default:return false;}//这个地方的FFmoeg与cuvid的对应关系不是很确定，不过用这个参数似乎最靠谱switch (pCodecCtx->sw_pix_fmt){case AV_PIX_FMT_YUV420P:g_stFormat.chroma_format = cudaVideoChromaFormat_420;break;case AV_PIX_FMT_YUV422P:g_stFormat.chroma_format = cudaVideoChromaFormat_422;break;case AV_PIX_FMT_YUV444P:g_stFormat.chroma_format = cudaVideoChromaFormat_444;break;default:g_stFormat.chroma_format = cudaVideoChromaFormat_420;break;}//找了好久，总算是找到了FFmpeg中标识场格式和帧格式的标识位//场格式是隔行扫描的，需要做去隔行处理switch (pCodecCtx->field_order){case AV_FIELD_PROGRESSIVE:case AV_FIELD_UNKNOWN:g_stFormat.progressive_sequence = true;break;default:g_stFormat.progressive_sequence = false;break;}pCodecCtx->thread_safe_callbacks = 1;g_stFormat.coded_width = pCodecCtx->coded_width;g_stFormat.coded_height = pCodecCtx->coded_height;g_stFormat.display_area.right = pCodecCtx->width;g_stFormat.display_area.left = 0;g_stFormat.display_area.bottom = pCodecCtx->height;g_stFormat.display_area.top = 0;if (pCodecCtx->codec_id == AV_CODEC_ID_H264 || pCodecCtx->codec_id == AV_CODEC_ID_HEVC) {if (pCodecCtx->codec_id == AV_CODEC_ID_H264)h264bsfc = av_bitstream_filter_init("h264_mp4toannexb");elseh264bsfc = av_bitstream_filter_init("hevc_mp4toannexb");}return true;
}
复制代码

这里面非常重要的一段代码是

if (pCodecCtx->codec_id == AV_CODEC_ID_H264 || pCodecCtx->codec_id == AV_CODEC_ID_HEVC) {if (pCodecCtx->codec_id == AV_CODEC_ID_H264)h264bsfc = av_bitstream_filter_init("h264_mp4toannexb");elseh264bsfc = av_bitstream_filter_init("hevc_mp4toannexb");
}

网上有许多代码和伪代码都说实现了把数据源修改为FFmpeg，但我在尝试的时候发现cuvidCreateVideoParser创建的Parser的回调函数都没有调用。经过一番折腾，综合英伟达网站、stackoverflow和FFmpeg源码，才发现对H264数据要做一个处理才能把AVPacket有效的转为CUVIDSOURCEDATAPACKET。其中h264bsfc的定义为AVBitStreamFilterContext* h264bsfc = NULL;

2.AVPacket转CUVIDSOURCEDATAPACKET,并交给cuvidParseVideoData

复制代码 
void VideoSource::play_thread(LPVOID lpParam)
{AVPacket *avpkt;avpkt = (AVPacket *)av_malloc(sizeof(AVPacket));CUVIDSOURCEDATAPACKET cupkt;int iPkt = 0;CUresult oResult;while (av_read_frame(pFormatCtx, avpkt) >= 0){if (bThreadExit){break;}bStarted = true;if (avpkt->stream_index == videoindex){cuCtxPushCurrent(g_oContext);if (avpkt && avpkt->size) {if (h264bsfc){av_bitstream_filter_filter(h264bsfc, pFormatCtx->streams[videoindex]->codec, NULL, &avpkt->data, &avpkt->size, avpkt->data, avpkt->size, 0);}cupkt.payload_size = (unsigned long)avpkt->size;cupkt.payload = (const unsigned char*)avpkt->data;if (avpkt->pts != AV_NOPTS_VALUE) {cupkt.flags = CUVID_PKT_TIMESTAMP;if (pCodecCtx->pkt_timebase.num && pCodecCtx->pkt_timebase.den){AVRational tb;tb.num = 1;tb.den = AV_TIME_BASE;cupkt.timestamp = av_rescale_q(avpkt->pts, pCodecCtx->pkt_timebase, tb);}elsecupkt.timestamp = avpkt->pts;}}else {cupkt.flags = CUVID_PKT_ENDOFSTREAM;}oResult = cuvidParseVideoData(oSourceData_.hVideoParser, &cupkt);if ((cupkt.flags & CUVID_PKT_ENDOFSTREAM) || (oResult != CUDA_SUCCESS)){break;}iPkt++;//printf("Succeed to read avpkt %d !\n", iPkt);
            checkCudaErrors(cuCtxPopCurrent(NULL));}av_free_packet(avpkt);}oSourceData_.pFrameQueue->endDecode();bStarted = false;
}
复制代码

这里FFmpeg读取数据包后，对H264和HEVC格式，有一个重要的处理，就是前面提到的，

if (h264bsfc)
{av_bitstream_filter_filter(h264bsfc, pFormatCtx->streams[videoindex]->codec, NULL, &avpkt->data, &avpkt->size, avpkt->data, avpkt->size, 0);
}

这个处理的含义见雷霄华的博客http://blog.csdn.net/leixiaohua1020/article/details/39767055。

这样，通过FFmpeg，CUVID就可以对流进行处理了。个人尝试过读取本地文件和rtsp流。FFmpeg读取rtsp流的方式竟然只需要把文件改为rtsp流的地址就可以，以前没做过流式的，我还以为会很复杂的。

3.一点数据

20路

    这是在GTX 1080上把解码进程（没做显示）开了20路解码得到的数据。20路1920X1080解码还能到平局37fps，这显卡也是6得不行。



工程源码：http://download.csdn.net/download/qq_33892166/9792997

源码遇到了一个问题，没找到原因。代码在GTX 1080和Tesla P4上的解码效果很好。P4由于驱动模式是TCC模式，所以只能解码，不能显示；1080上可解码，可显示。但是在我自己电脑上的GT940M上，即时是原生SDK在cuvidCreateDecoder的时候也总是报错CUDA_ERROR_NO_DEVICE。驱动似乎没问题，试了CUDA的demo,CUDA运算也是正常的，查的资料表明GT940M应该是支持CUVID的。希望知道原因的朋友能指教一二。


-----------------------------------------2017.7.7更新----------------------------------------

修改代码中的一处内存泄漏问题：

    把play_thread()中的

复制代码 
if (avpkt && avpkt->size) {
if (h264bsfc)
{av_bitstream_filter_filter(h264bsfc, pFormatCtx->streams[videoindex]->codec, NULL, &avpkt->data, &avpkt->size, avpkt->data, avpkt->size, 0);
}cupkt.payload_size = (unsigned long)avpkt->size;
cupkt.payload = (const unsigned char*)avpkt->data;if (avpkt->pts != AV_NOPTS_VALUE) {cupkt.flags = CUVID_PKT_TIMESTAMP;if (pCodecCtx->pkt_timebase.num && pCodecCtx->pkt_timebase.den){AVRational tb;tb.num = 1;tb.den = AV_TIME_BASE;cupkt.timestamp = av_rescale_q(avpkt->pts, pCodecCtx->pkt_timebase, tb);}elsecupkt.timestamp = avpkt->pts;
}
}
else {
cupkt.flags = CUVID_PKT_ENDOFSTREAM;
}oResult = cuvidParseVideoData(oSourceData_.hVideoParser, &cupkt);
if ((cupkt.flags & CUVID_PKT_ENDOFSTREAM) || (oResult != CUDA_SUCCESS)){
break;
}
iPkt++;
复制代码

    为

复制代码 
AVPacket new_pkt = *avpkt;if (avpkt && avpkt->size) 
{if (h264bsfc){int a = av_bitstream_filter_filter(h264bsfc, pFormatCtx->streams[videoindex]->codec, NULL,&new_pkt.data, &new_pkt.size,avpkt->data, avpkt->size,avpkt->flags & AV_PKT_FLAG_KEY);if (a>0){if (new_pkt.data != avpkt->data)//-added this
            {av_free_packet(avpkt);avpkt->data = new_pkt.data;avpkt->size = new_pkt.size;}}else if (a<0){goto LOOP0;}*avpkt = new_pkt;}cupkt.payload_size = (unsigned long)avpkt->size;cupkt.payload = (const unsigned char*)avpkt->data;if (avpkt->pts != AV_NOPTS_VALUE) {cupkt.flags = CUVID_PKT_TIMESTAMP;if (pCodecCtx->pkt_timebase.num && pCodecCtx->pkt_timebase.den){AVRational tb;tb.num = 1;tb.den = AV_TIME_BASE;cupkt.timestamp = av_rescale_q(avpkt->pts, pCodecCtx->pkt_timebase, tb);}elsecupkt.timestamp = avpkt->pts;}
}
else 
{cupkt.flags = CUVID_PKT_ENDOFSTREAM;
}oResult = cuvidParseVideoData(oSourceData_.hVideoParser, &cupkt);
if ((cupkt.flags & CUVID_PKT_ENDOFSTREAM) || (oResult != CUDA_SUCCESS))
{break;
}av_free(new_pkt.data);
复制代码

    这个泄漏是av_bitstream_filter_filter造成的，解决办法参考http://blog.csdn.net/lg1259156776/article/details/73283920 。


-----------------------------2017.8.30 补-----------------------------------

貌似还是有小伙伴被内存泄漏难住了，这里我给出我最新的读取数据包线程函数的完整代码，希望有所帮助

复制代码 
void VideoSource::play_thread(LPVOID lpParam)
{AVPacket *avpkt;avpkt = (AVPacket *)av_malloc(sizeof(AVPacket));CUVIDSOURCEDATAPACKET cupkt;CUresult oResult;while (av_read_frame(pFormatCtx, avpkt) >= 0){
LOOP0:if (bThreadExit){break;}if (avpkt->stream_index == videoindex){AVPacket new_pkt = *avpkt;if (avpkt && avpkt->size) {if (h264bsfc){int a = av_bitstream_filter_filter(h264bsfc, pFormatCtx->streams[videoindex]->codec, NULL,&new_pkt.data, &new_pkt.size,avpkt->data, avpkt->size,avpkt->flags & AV_PKT_FLAG_KEY);if (a>0){if (new_pkt.data != avpkt->data)//-added this
                        {av_free_packet(avpkt);avpkt->data = new_pkt.data;avpkt->size = new_pkt.size;}}else if (a<0){goto LOOP0;}*avpkt = new_pkt;}cupkt.payload_size = (unsigned long)avpkt->size;cupkt.payload = (const unsigned char*)avpkt->data;if (avpkt->pts != AV_NOPTS_VALUE) {cupkt.flags = CUVID_PKT_TIMESTAMP;if (pCodecCtx->pkt_timebase.num && pCodecCtx->pkt_timebase.den){AVRational tb;tb.num = 1;tb.den = AV_TIME_BASE;cupkt.timestamp = av_rescale_q(avpkt->pts, pCodecCtx->pkt_timebase, tb);}elsecupkt.timestamp = avpkt->pts;}}else {cupkt.flags = CUVID_PKT_ENDOFSTREAM;}oResult = cuvidParseVideoData(oSourceData_.hVideoParser, &cupkt);if ((cupkt.flags & CUVID_PKT_ENDOFSTREAM) || (oResult != CUDA_SUCCESS)){break;}av_free(new_pkt.data);}elseav_free_packet(avpkt);}oSourceData_.pFrameQueue->endDecode();bStarted = false;if (pCodecCtx->codec_id == AV_CODEC_ID_H264 || pCodecCtx->codec_id == AV_CODEC_ID_HEVC) {av_bitstream_filter_close(h264bsfc);}
}
复制代码
分类: 硬件解码

这篇关于英伟达CUVID硬解，并通过FFmpeg读取文件的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/463065。

相关文章

音视频入门基础：WAV专题（10）——FFmpeg源码中计算WAV音频文件每个packet的pts、dts的实现

音视频入门基础：WAV专题（10）——FFmpeg源码中计算WAV音频文件每个packet的pts、dts的实现

一、引言 从文章《音视频入门基础：WAV专题（6）——通过FFprobe显示WAV音频文件每个数据包的信息》中我们可以知道，通过FFprobe命令可以打印WAV音频文件每个packet（也称为数据包或多媒体包）的信息，这些信息包含该packet的pts、dts： 打印出来的“pts”实际是AVPacket结构体中的成员变量pts，是以AVStream->time_base为单位的显
阅读更多...
matlab读取NC文件（含group）

matlab读取NC文件（含group）

matlab读取NC文件（含group）： NC文件数据结构： 代码： % 打开 NetCDF 文件filename = 'your_file.nc'; % 替换为你的文件名% 使用 netcdf.open 函数打开文件ncid = netcdf.open(filename, 'NC_NOWRITE');% 查看文件中的组% 假设我们想读取名为 "group1" 的组groupName
阅读更多...
ffmpeg面向对象-待定

ffmpeg面向对象-待定

1.常用对象 rtsp拉流第一步都是avformat_open_input，其入参可以看下怎么用： AVFormatContext *fmt_ctx = NULL;result = avformat_open_input(&fmt_ctx, input_filename, NULL, NULL); 其中fmt_ctx 如何分配内存的？如下 int avformat_open_input(
阅读更多...
argodb自定义函数读取hdfs文件的注意点，避免FileSystem已关闭异常

argodb自定义函数读取hdfs文件的注意点，避免FileSystem已关闭异常

一、问题描述 一位同学反馈，他写的argo存过中调用了一个自定义函数，函数会加载hdfs上的一个文件，但有些节点会报FileSystem closed异常，同时有时任务会成功，有时会失败。 二、问题分析 argodb的计算引擎是基于spark的定制化引擎，对于自定义函数的调用跟hive on spark的是一致的。udf要通过反射生成实例，然后迭代调用evaluate。通过代码分析，udf在
阅读更多...
下载/保存/读取 文件，并转成流输出

下载/保存/读取 文件，并转成流输出

最近对文件的操作又熟悉了下；现在记载下来：学习在于 坚持！！！不以细小而不为。 实现的是：文件的下载、文件的保存到SD卡、文件的读取输出String 类型、最后是文件转换成流输出；一整套够用了； 重点： 1:   操作网络要记得开线程； 2：更新网络获取的数据 切记用Handler机制； 3：注意代码的可读性(这里面只是保存到SD卡，在项目中切记要对SD卡的有无做判断，然后再获取路径！)
阅读更多...
ROS1 + Realsense d455 固件安装+读取rostopic数据

ROS1 + Realsense d455 固件安装+读取rostopic数据

目录 安装固件（一定要匹配）ROS1 wrapper 安装方法Realsense SDK 安装方法Realsense Firmware 安装方法 修改roslaunch配置文件，打开双目图像和IMU数据其他坑点参考链接 安装固件（一定要匹配） 如果你是使用ROS1获取realsense数据的话，一定要注意，SDK, Firmware的版本不是越新越好！！，这是因为intel已经不
阅读更多...
Python批量读取身份证信息录入系统和重命名

Python批量读取身份证信息录入系统和重命名

前言 大家好， 如果你对自动化处理身份证图片感兴趣，可以尝试以下操作：从身份证图片中快速提取信息，填入表格并提交到网页系统。如果你无法完成这个任务，我们将在“Python自动化办公2.0”课程中详细讲解实现整个过程。 实现过程概述： 模块与功能： re 模块：用于从 OCR 识别出的文本中提取所需的信息。 日期模块：计算年龄。 pandas：处理和操作表格数据。 PaddleOCR：百度的
阅读更多...
FFmpeg系列-视频解码后保存帧图片为ppm

FFmpeg系列-视频解码后保存帧图片为ppm

在正常开发中遇到花屏时怎么处理呢？可以把解码后的数据直接保存成帧图片保存起来，然后直接看图片有没有花屏来排除是否是显示的问题，如果花屏，则代表显示无问题，如果图片中没有花屏，则可以往显示的方向去排查了。 void saveFrame(AVFrame* pFrame, int width, int height, int iFrame){FILE *pFile;char szFilename[
阅读更多...
java读取resource/通过文件名获取文件类型

java读取resource/通过文件名获取文件类型

java读取resource java读取resource目录下文件的方法: 借助Guava库的Resource类 Resources.getResource("test.txt") 通过文件名获取文件类型 mongodb java
阅读更多...
Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(4)

Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(4)

本文仅作笔记学习和分享，不用做任何商业用途 本文包括但不限于unity官方手册，unity唐老狮等教程知识，如有不足还请斧正​​ Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(3)-CSDN博客  这节就是真正的存储数据了   理清一下思路： 1.存储路径并检查 //2进制文件类存储private static string Data_Binary_Pa
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2