EasyRTMPClient:RTMP拉流组件RTMP协议扩展支持HEVC(H.265)解决方案

本文主要是介绍EasyRTMPClient:RTMP拉流组件RTMP协议扩展支持HEVC(H.265)解决方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

需求背景

之前我们已经在RTMP推送端扩展支持了HEVC(H.265 后文统称H265)的编码格式,但是,由于RTMP官方指定的协议格式已经不再更新,官方的播放器——Flash播放器并不支持H265格式的编码数据进行解码播放;现在,我们需要在播放器端解析RTMP流时对H265编码格式进行扩展支持。

而我们研发的EasyRTMPClient就能清晰地回调出帧率、时间戳、首帧是否为I帧、ES数据流、能保存ES进行分析,最接近现实项目中的应用需求,更重要的是EasyRTMPClient扩展了RTMP H.265支持!

下面我们将详细介绍EasyRTMPClient是如何实现支持H265推送的。
首先,扩展ffmpeg

我们可以通过扩展ffmpeg,让其支持拉H265封装的RTMP流进行解码播放,我们可以通过金山云对ffmpeg的扩展支持H265来解决。

然后,实现EasyRTMPClient对H265的支持

我们通过修改EasyRTMPClient的代码实现对H265的支持,因为我们之前已经实现了推送端的扩展支持,所以播放端的支持则相对比较简单。不过仍有几个方面需要我们注意,下面将对整个扩展流程进行介绍

1. 扩展编码ID

和推送端一样,需要先扩展支持H265的编码ID,我们定义为12,代码如下所示:

```
enum FlvVideoCodecId
{e_FlvVideoCodecId_None     = 0,e_FlvVideoCodecId_Jpeg     = 1,e_FlvVideoCodecId_H263     = 2,e_FlvVideoCodecId_Screen   = 3,e_FlvVideoCodecId_Vp6      = 4,e_FlvVideoCodecId_Vp6Alpha = 5,e_FlvVideoCodecId_ScreenV2 = 6,e_FlvVideoCodecId_Avc      = 7,// RTMP扩展支持HEVC(H.265) e_FlvVideoCodecId_Hevc      = 12, };enum FlvCodeId
{FlvCodeId_Jpeg = 1,FlvCodeId_Sorenson = 2,FlvCodeId_ScreenVideo = 3,FlvCodeId_On2Vp6 = 4,FlvCodeId_On2Vp6Alpha = 5,FlvCodeId_ScreenVideoV2 = 6,FlvCodeId_AVC = 7,// RTMP扩展支持HEVC(H.265)FlvCodeId_Hevc      = 12,
};
```

2. 扩展H265特有头部数据结构VPS

因为H264只有SPS和PPS,所以在兼容H265的时候,我们需要定义其特有的头VPS:

```
char	vps_buf_[MAX_VPS_LEN];//256
int		vps_len_;	
```

3. MetaData解析扩展支持H265

在推送端,我们扩展H265发送的MetaData结构定义如下:

 ```
typedef struct HVCCNALUnitArray {uint8_t  array_completeness;uint8_t  NAL_unit_type;uint16_t numNalus;uint16_t *nalUnitLength;uint8_t  **nalUnit;
} HVCCNALUnitArray;typedef struct HEVCDecoderConfigurationRecord {uint8_t  configurationVersion;uint8_t  general_profile_space;uint8_t  general_tier_flag;uint8_t  general_profile_idc;uint32_t general_profile_compatibility_flags;uint64_t general_constraint_indicator_flags;uint8_t  general_level_idc;uint16_t min_spatial_segmentation_idc;uint8_t  parallelismType;uint8_t  chromaFormat;uint8_t  bitDepthLumaMinus8;uint8_t  bitDepthChromaMinus8;uint16_t avgFrameRate;uint8_t  constantFrameRate;uint8_t  numTemporalLayers;uint8_t  temporalIdNested;uint8_t  lengthSizeMinusOne;uint8_t  numOfArrays;HVCCNALUnitArray *array;
} HEVCDecoderConfigurationRecord;
```

接下来,我们将从MetaData里面把VPS、SPS和PPS解析出来。

首先,判断视频编码格式:

  ```parser_VideoTag *video_tag = (parser_VideoTag*)(buf+parser_offset);FlvCodeId video_code_id = (FlvCodeId)(video_tag->code_id&0x0f);if (video_code_id == FlvCodeId_Hevc){av_frame.u32AVFrameFlag = EASY_SDK_VIDEO_CODEC_H265;// HEVC;} else{av_frame.u32AVFrameFlag = EASY_SDK_VIDEO_CODEC_H264;// 默认h264, 其他类型是否需要判断?!;}```

然后,判断视频帧格式为H265后,我们从MetaData中获取VPS、SPS和PPS,代码如下所示:

    ```char *parser_config = buf;Parser_HEVCDecoderConfigurationRecord *decoder_header = (Parser_HEVCDecoderConfigurationRecord*)((char*)parser_config);parser_offset += sizeof(Parser_HEVCDecoderConfigurationRecord);int nNumOfArrays = decoder_header->numOfArrays;for (int i=0; i<nNumOfArrays; i++){Parser_HVCCNALUnitArray* pNALUnit = (Parser_HVCCNALUnitArray*)((char *)parser_config+parser_offset);parser_offset += sizeof(Parser_HVCCNALUnitArray);int numNalus = ntohs(*(unsigned short *)((char *)parser_config + parser_offset));  parser_offset += 2;for (int nI=0; nI<numNalus; nI++){// 	uint16_t *nalUnitLength;// 	uint8_t  **nalUnit;ps_len = *pNALUnit[i]->nalUnitLength;if (pNALUnit[nI]->NAL_unit_type == 0x20){//获取VPSmemcpy(vps_buf_, *pNALUnit[i]->nalUnit, ps_len);vps_len_ = ps_len;} else if (pNALUnit[nI]->NAL_unit_type == 0x021){//获取SPSmemcpy(sps_buf_,*pNALUnit[i]->nalUnit, ps_len);sps_len_ = ps_len;}else if (pNALUnit[nI]->NAL_unit_type == 0x22){//获取PPSmemcpy(pps_buf_,*pNALUnit[i]->nalUnit, ps_len);pps_len_ = ps_len;}	parser_offset += ps_len;}}//从H265的SPS头部结构中取得视频长宽rtmpclient_h265_decode_sps((unsigned char *)sps_buf_, sps_len_, width_, height_);	```

4. 视频数据帧Nalu解析扩展支持H265

首先,判断如果是H265视频帧,则需要解析视频帧是否携带VPS:

  ```if(av_frame.u32AVFrameFlag == EASY_SDK_VIDEO_CODEC_H265){nalu_type = (buf[parse_offset] >> 1) & 0x3F;if(nalu_type == e_H265_NAL_UNIT_VPS){memcpy(vps_buf_,buf + parse_offset,nalu_len);vps_len_ = nalu_len;parse_offset += nalu_len;continue;}}else{nalu_type = buf[parse_offset]&0x1F;}```

对SPS、PPS以及Idr帧、P帧的nalu数据单元的解析和H264解析方法一致,这里就不做过多赘述。

然后,我们通过EasyScreenLive来推H265编码格式的RTMP流到EasyDSS,通过EasyPlayerPro(ffmpeg拉流)和EasyPlayer-RTMP(EasyRTMPClient拉流)播放,如下图所示:
EasyRTMPClient

最后,我们发现推送的基于H265编码的RTMP通过网页是播放不了的,而通过EasyPlayer则能成功播放,这说明通过EasyRTMPClient拉取RTMP流扩展支持H265的方案已经完美解决。

EasyRTMPClient推流

EasyRTMPClient功能组件是TSINGSEE青犀开放平台开发和维护的一套非常稳定、易用、支持重连的RTMPClient工具,以SDK的形式提供,全平台支持(包括Windows/Linux 32&64,Android,iOS,ARM各平台),接口简单、兼容性强、且成熟稳定!(详见青犀官网:http://open.tsingsee.com/ )

tsingsee

这篇关于EasyRTMPClient:RTMP拉流组件RTMP协议扩展支持HEVC(H.265)解决方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/930915

相关文章

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

全面解析MySQL索引长度限制问题与解决方案

《全面解析MySQL索引长度限制问题与解决方案》MySQL对索引长度设限是为了保持高效的数据检索性能,这个限制不是MySQL的缺陷,而是数据库设计中的权衡结果,下面我们就来看看如何解决这一问题吧... 目录引言:为什么会有索引键长度问题?一、问题根源深度解析mysql索引长度限制原理实际场景示例二、五大解决

如何在Spring Boot项目中集成MQTT协议

《如何在SpringBoot项目中集成MQTT协议》本文介绍在SpringBoot中集成MQTT的步骤,包括安装Broker、添加EclipsePaho依赖、配置连接参数、实现消息发布订阅、测试接口... 目录1. 准备工作2. 引入依赖3. 配置MQTT连接4. 创建MQTT配置类5. 实现消息发布与订阅

使用Python进行GRPC和Dubbo协议的高级测试

《使用Python进行GRPC和Dubbo协议的高级测试》GRPC(GoogleRemoteProcedureCall)是一种高性能、开源的远程过程调用(RPC)框架,Dubbo是一种高性能的分布式服... 目录01 GRPC测试安装gRPC编写.proto文件实现服务02 Dubbo测试1. 安装Dubb

SpringSecurity显示用户账号已被锁定的原因及解决方案

《SpringSecurity显示用户账号已被锁定的原因及解决方案》SpringSecurity中用户账号被锁定问题源于UserDetails接口方法返回值错误,解决方案是修正isAccountNon... 目录SpringSecurity显示用户账号已被锁定的解决方案1.问题出现前的工作2.问题出现原因各

k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)

《k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)》本文记录在K8s上运行的MySQL/MariaDB备份方案,通过工具容器执行mysqldump,结合定时任务实... 目录前言一、获取需要备份的数据库的信息二、备份步骤1.准备工作(X86)1.准备工作(arm)2.手

javax.net.ssl.SSLHandshakeException:异常原因及解决方案

《javax.net.ssl.SSLHandshakeException:异常原因及解决方案》javax.net.ssl.SSLHandshakeException是一个SSL握手异常,通常在建立SS... 目录报错原因在程序中绕过服务器的安全验证注意点最后多说一句报错原因一般出现这种问题是因为目标服务器

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM

华为鸿蒙HarmonyOS 5.1官宣7月开启升级! 首批支持名单公布

《华为鸿蒙HarmonyOS5.1官宣7月开启升级!首批支持名单公布》在刚刚结束的华为Pura80系列及全场景新品发布会上,除了众多新品的发布,还有一个消息也点燃了所有鸿蒙用户的期待,那就是Ha... 在今日的华为 Pura 80 系列及全场景新品发布会上,华为宣布鸿蒙 HarmonyOS 5.1 将于 7