EasyRTMPClient:RTMP拉流组件RTMP协议扩展支持HEVC(H.265)解决方案

本文主要是介绍EasyRTMPClient:RTMP拉流组件RTMP协议扩展支持HEVC(H.265)解决方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

需求背景

之前我们已经在RTMP推送端扩展支持了HEVC(H.265 后文统称H265)的编码格式,但是,由于RTMP官方指定的协议格式已经不再更新,官方的播放器——Flash播放器并不支持H265格式的编码数据进行解码播放;现在,我们需要在播放器端解析RTMP流时对H265编码格式进行扩展支持。

而我们研发的EasyRTMPClient就能清晰地回调出帧率、时间戳、首帧是否为I帧、ES数据流、能保存ES进行分析,最接近现实项目中的应用需求,更重要的是EasyRTMPClient扩展了RTMP H.265支持!

下面我们将详细介绍EasyRTMPClient是如何实现支持H265推送的。
首先,扩展ffmpeg

我们可以通过扩展ffmpeg,让其支持拉H265封装的RTMP流进行解码播放,我们可以通过金山云对ffmpeg的扩展支持H265来解决。

然后,实现EasyRTMPClient对H265的支持

我们通过修改EasyRTMPClient的代码实现对H265的支持,因为我们之前已经实现了推送端的扩展支持,所以播放端的支持则相对比较简单。不过仍有几个方面需要我们注意,下面将对整个扩展流程进行介绍

1. 扩展编码ID

和推送端一样,需要先扩展支持H265的编码ID,我们定义为12,代码如下所示:

```
enum FlvVideoCodecId
{e_FlvVideoCodecId_None     = 0,e_FlvVideoCodecId_Jpeg     = 1,e_FlvVideoCodecId_H263     = 2,e_FlvVideoCodecId_Screen   = 3,e_FlvVideoCodecId_Vp6      = 4,e_FlvVideoCodecId_Vp6Alpha = 5,e_FlvVideoCodecId_ScreenV2 = 6,e_FlvVideoCodecId_Avc      = 7,// RTMP扩展支持HEVC(H.265) e_FlvVideoCodecId_Hevc      = 12, };enum FlvCodeId
{FlvCodeId_Jpeg = 1,FlvCodeId_Sorenson = 2,FlvCodeId_ScreenVideo = 3,FlvCodeId_On2Vp6 = 4,FlvCodeId_On2Vp6Alpha = 5,FlvCodeId_ScreenVideoV2 = 6,FlvCodeId_AVC = 7,// RTMP扩展支持HEVC(H.265)FlvCodeId_Hevc      = 12,
};
```

2. 扩展H265特有头部数据结构VPS

因为H264只有SPS和PPS,所以在兼容H265的时候,我们需要定义其特有的头VPS:

```
char	vps_buf_[MAX_VPS_LEN];//256
int		vps_len_;	
```

3. MetaData解析扩展支持H265

在推送端,我们扩展H265发送的MetaData结构定义如下:

 ```
typedef struct HVCCNALUnitArray {uint8_t  array_completeness;uint8_t  NAL_unit_type;uint16_t numNalus;uint16_t *nalUnitLength;uint8_t  **nalUnit;
} HVCCNALUnitArray;typedef struct HEVCDecoderConfigurationRecord {uint8_t  configurationVersion;uint8_t  general_profile_space;uint8_t  general_tier_flag;uint8_t  general_profile_idc;uint32_t general_profile_compatibility_flags;uint64_t general_constraint_indicator_flags;uint8_t  general_level_idc;uint16_t min_spatial_segmentation_idc;uint8_t  parallelismType;uint8_t  chromaFormat;uint8_t  bitDepthLumaMinus8;uint8_t  bitDepthChromaMinus8;uint16_t avgFrameRate;uint8_t  constantFrameRate;uint8_t  numTemporalLayers;uint8_t  temporalIdNested;uint8_t  lengthSizeMinusOne;uint8_t  numOfArrays;HVCCNALUnitArray *array;
} HEVCDecoderConfigurationRecord;
```

接下来,我们将从MetaData里面把VPS、SPS和PPS解析出来。

首先,判断视频编码格式:

  ```parser_VideoTag *video_tag = (parser_VideoTag*)(buf+parser_offset);FlvCodeId video_code_id = (FlvCodeId)(video_tag->code_id&0x0f);if (video_code_id == FlvCodeId_Hevc){av_frame.u32AVFrameFlag = EASY_SDK_VIDEO_CODEC_H265;// HEVC;} else{av_frame.u32AVFrameFlag = EASY_SDK_VIDEO_CODEC_H264;// 默认h264, 其他类型是否需要判断?!;}```

然后,判断视频帧格式为H265后,我们从MetaData中获取VPS、SPS和PPS,代码如下所示:

    ```char *parser_config = buf;Parser_HEVCDecoderConfigurationRecord *decoder_header = (Parser_HEVCDecoderConfigurationRecord*)((char*)parser_config);parser_offset += sizeof(Parser_HEVCDecoderConfigurationRecord);int nNumOfArrays = decoder_header->numOfArrays;for (int i=0; i<nNumOfArrays; i++){Parser_HVCCNALUnitArray* pNALUnit = (Parser_HVCCNALUnitArray*)((char *)parser_config+parser_offset);parser_offset += sizeof(Parser_HVCCNALUnitArray);int numNalus = ntohs(*(unsigned short *)((char *)parser_config + parser_offset));  parser_offset += 2;for (int nI=0; nI<numNalus; nI++){// 	uint16_t *nalUnitLength;// 	uint8_t  **nalUnit;ps_len = *pNALUnit[i]->nalUnitLength;if (pNALUnit[nI]->NAL_unit_type == 0x20){//获取VPSmemcpy(vps_buf_, *pNALUnit[i]->nalUnit, ps_len);vps_len_ = ps_len;} else if (pNALUnit[nI]->NAL_unit_type == 0x021){//获取SPSmemcpy(sps_buf_,*pNALUnit[i]->nalUnit, ps_len);sps_len_ = ps_len;}else if (pNALUnit[nI]->NAL_unit_type == 0x22){//获取PPSmemcpy(pps_buf_,*pNALUnit[i]->nalUnit, ps_len);pps_len_ = ps_len;}	parser_offset += ps_len;}}//从H265的SPS头部结构中取得视频长宽rtmpclient_h265_decode_sps((unsigned char *)sps_buf_, sps_len_, width_, height_);	```

4. 视频数据帧Nalu解析扩展支持H265

首先,判断如果是H265视频帧,则需要解析视频帧是否携带VPS:

  ```if(av_frame.u32AVFrameFlag == EASY_SDK_VIDEO_CODEC_H265){nalu_type = (buf[parse_offset] >> 1) & 0x3F;if(nalu_type == e_H265_NAL_UNIT_VPS){memcpy(vps_buf_,buf + parse_offset,nalu_len);vps_len_ = nalu_len;parse_offset += nalu_len;continue;}}else{nalu_type = buf[parse_offset]&0x1F;}```

对SPS、PPS以及Idr帧、P帧的nalu数据单元的解析和H264解析方法一致,这里就不做过多赘述。

然后,我们通过EasyScreenLive来推H265编码格式的RTMP流到EasyDSS,通过EasyPlayerPro(ffmpeg拉流)和EasyPlayer-RTMP(EasyRTMPClient拉流)播放,如下图所示:
EasyRTMPClient

最后,我们发现推送的基于H265编码的RTMP通过网页是播放不了的,而通过EasyPlayer则能成功播放,这说明通过EasyRTMPClient拉取RTMP流扩展支持H265的方案已经完美解决。

EasyRTMPClient推流

EasyRTMPClient功能组件是TSINGSEE青犀开放平台开发和维护的一套非常稳定、易用、支持重连的RTMPClient工具,以SDK的形式提供,全平台支持(包括Windows/Linux 32&64,Android,iOS,ARM各平台),接口简单、兼容性强、且成熟稳定!(详见青犀官网:http://open.tsingsee.com/ )

tsingsee

这篇关于EasyRTMPClient:RTMP拉流组件RTMP协议扩展支持HEVC(H.265)解决方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/930915

相关文章

JS常用组件收集

收集了一些平时遇到的前端比较优秀的组件,方便以后开发的时候查找!!! 函数工具: Lodash 页面固定: stickUp、jQuery.Pin 轮播: unslider、swiper 开关: switch 复选框: icheck 气泡: grumble 隐藏元素: Headroom

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

如何在页面调用utility bar并传递参数至lwc组件

1.在app的utility item中添加lwc组件: 2.调用utility bar api的方式有两种: 方法一,通过lwc调用: import {LightningElement,api ,wire } from 'lwc';import { publish, MessageContext } from 'lightning/messageService';import Ca

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

Spring框架5 - 容器的扩展功能 (ApplicationContext)

private static ApplicationContext applicationContext;static {applicationContext = new ClassPathXmlApplicationContext("bean.xml");} BeanFactory的功能扩展类ApplicationContext进行深度的分析。ApplicationConext与 BeanF

【Linux】应用层http协议

一、HTTP协议 1.1 简要介绍一下HTTP        我们在网络的应用层中可以自己定义协议,但是,已经有大佬定义了一些现成的,非常好用的应用层协议,供我们直接使用,HTTP(超文本传输协议)就是其中之一。        在互联网世界中,HTTP(超文本传输协议)是一个至关重要的协议,他定义了客户端(如浏览器)与服务器之间如何进行通信,以交换或者传输超文本(比如HTML文档)。

vue2 组件通信

props + emits props:用于接收父组件传递给子组件的数据。可以定义期望从父组件接收的数据结构和类型。‘子组件不可更改该数据’emits:用于定义组件可以向父组件发出的事件。这允许父组件监听子组件的事件并作出响应。(比如数据更新) props检查属性 属性名类型描述默认值typeFunction指定 prop 应该是什么类型,如 String, Number, Boolean,

kubelet组件的启动流程源码分析

概述 摘要: 本文将总结kubelet的作用以及原理,在有一定基础认识的前提下,通过阅读kubelet源码,对kubelet组件的启动流程进行分析。 正文 kubelet的作用 这里对kubelet的作用做一个简单总结。 节点管理 节点的注册 节点状态更新 容器管理(pod生命周期管理) 监听apiserver的容器事件 容器的创建、删除(CRI) 容器的网络的创建与删除

js异步提交form表单的解决方案

1.定义异步提交表单的方法 (通用方法) /*** 异步提交form表单* @param options {form:form表单元素,success:执行成功后处理函数}* <span style="color:#ff0000;"><strong>@注意 后台接收参数要解码否则中文会导致乱码 如:URLDecoder.decode(param,"UTF-8")</strong></span>

【Go】go连接clickhouse使用TCP协议

离开你是傻是对是错 是看破是软弱 这结果是爱是恨或者是什么 如果是种解脱 怎么会还有眷恋在我心窝 那么爱你为什么                      🎵 黄品源/莫文蔚《那么爱你为什么》 package mainimport ("context""fmt""log""time""github.com/ClickHouse/clickhouse-go/v2")func main(