H264结构及RTP封装

2024-09-03 05:52
文章标签 rtp 封装 结构 h264

本文主要是介绍H264结构及RTP封装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        H264是一种针对视频的压缩编码方式。

一、压缩方法

        H264主要基于以下几种方法,将数据进行压缩:

1.帧内预测压缩:解决空间域数据冗余的问题

2.帧间预测压缩:(运动估计与补偿)解决时间域数据冗余的问题

3.整数离散余弦变换(DCT):将空间上的相关性转换为频域上的无关性,然后量化

二、压缩后数据

        压缩后,H264文件由I帧B帧P帧GOP图像序列组成。

I帧关键帧,由帧内压缩得到

B帧双向预测帧,由帧间压缩得到,压缩时既考虑前面的帧,又考虑后边的帧

P帧前向预测帧,由帧间压缩得到,压缩时只考虑前面处理的帧

GOP图像序列:由一个关键帧(I 帧)和后续的若干预测帧(P 帧B 帧)组成

三、H264组成

        H264由网络提取层 + 视讯编码层这两层组成。

1.网络提取层(NAL):网络编码后产生的数据流。通过NAL的第一个字节可以判断帧的类型

2.视讯编码层(VCL):是一个过程的汇总,由数据通过压缩编码得到NAL的过程,称为VCL

四、码流结构

        视频数据序列被压缩后形成VCL数据,VCL数据要封装在NAL单元中才可以传输。

SPS:序列参数集,作用于一系列连续的编码图像

PSS:图像参数集,作用于编码视频序列中一个或多个独立图像

         上图中的NALU可以分为两种:VCL类型 和 非VCL类型

五、IDR帧

        IDR帧,一种特殊的I帧

一般由于B和P帧都需要参考前后帧进行压缩,因此缓冲区中总保存着前后帧的信息。当解码器接收到当前是IDR帧时,会清空当前缓冲区,找到第一个IDR帧,并重新解码。

        每一个GOP的第一个帧就是IDR帧。(当图像差异过大时,会出现IDR帧)

六、封装成RTP包

6.1 H264二进制数据结构

        H264由多个NALU组成,每个NALU之间使用00 00 00 0100 00 01分隔。

        (00 00 00 01表示帧之间的分隔,00 00 01表示切片分隔)

每个NALU的第一个字节意义如下:

(以下数据结构为主机字节顺序:小端存储

//NALU的第一个字节
uint8_t : 5; //第4-8位,NALU类型  
uint8_t : 2; //第2-3位,NALU重要性
uint8_t : 1; //第1位,一般为0。为1表示有语法错误

(下表为网络字节顺序:大端存储

位数01             23             4             5             6             7
解释

必须为0

当为1时,

表示有语法错误

此NALU的重要性

越大越重要

此NALU的类型

常用NALU类型对应:

        SEI: 0x06(0 00 00110)        type=6

        SPS:0x67(0 11 00111)        type=7

        PPS:0x68(0 11 01000)        type=8

        IDR:0x66(0 11 00110)        type=5

        IDR:0x46(0 10 00110)        type=5

        IDR:0x16(0 01 00110)        type=5

        IDR:0x06(0 00 00110)        type=5

        I帧: 0x61(0 11 00001)        type=1

        P帧:0x41(0 10 00001)        type=1

        B帧:0x01(0 00 00001)        type=1

(大端存储与小端存储只影响内存中的存储方式,解析时不影响,就是按照上述的数据结构方式)

6.2 三种打包形式

        H264打包成RTP有三种常用的方式:

1. 单NALU打包

        将一整个NSLU放入一个RTP包的有效荷载中

2. 聚合打包

        对于较小的NALU,可以将多个NALU放入一个RTP包的有效荷载中

3. 分片打包

        对于较大的NALU,可以分成多片,分别放入多个RTP包的有效荷载中。

为了告知此RTP包是上一个NALU的延续,用RTP包的有效荷载前两个字节来标识:

        第一个字节被称为FU Indicator,格式如下所示:

位数01             23             4             5             6             7
解释

与NALU

第一字节相同

与NALU

第一字节相同

值为十进制28(是H.264规定死的)

         第二个字节被称为FU Header,格式如下所示:

位数0123            4            5           6           7
解释

S

标识是NALU的第一个包

E

标识是NALU的最后一个包

R

保留位

必须为0

与NALU第一字节相同

这篇关于H264结构及RTP封装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1132210

相关文章

SpringBoot中封装Cors自动配置方式

《SpringBoot中封装Cors自动配置方式》:本文主要介绍SpringBoot中封装Cors自动配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot封装Cors自动配置背景实现步骤1. 创建 GlobalCorsProperties

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)

《Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)》:本文主要介绍Java导入、导出excel的相关资料,讲解了使用Java和ApachePOI库将数据导出为Excel文件,包括... 目录前言一、引入Apache POI依赖二、用法&步骤2.1 创建Excel的元素2.3 样式和字体2.

JAVA封装多线程实现的方式及原理

《JAVA封装多线程实现的方式及原理》:本文主要介绍Java中封装多线程的原理和常见方式,通过封装可以简化多线程的使用,提高安全性,并增强代码的可维护性和可扩展性,需要的朋友可以参考下... 目录前言一、封装的目标二、常见的封装方式及原理总结前言在 Java 中,封装多线程的原理主要围绕着将多线程相关的操

mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

《mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据》文章主要介绍了如何从.frm和.ibd文件恢复MySQLInnoDB表结构和数据,需要的朋友可以参... 目录一、恢复表结构二、恢复表数据补充方法一、恢复表结构(从 .frm 文件)方法 1:使用 mysq

Python中顺序结构和循环结构示例代码

《Python中顺序结构和循环结构示例代码》:本文主要介绍Python中的条件语句和循环语句,条件语句用于根据条件执行不同的代码块,循环语句用于重复执行一段代码,文章还详细说明了range函数的使... 目录一、条件语句(1)条件语句的定义(2)条件语句的语法(a)单分支 if(b)双分支 if-else(

使用Navicat工具比对两个数据库所有表结构的差异案例详解

《使用Navicat工具比对两个数据库所有表结构的差异案例详解》:本文主要介绍如何使用Navicat工具对比两个数据库test_old和test_new,并生成相应的DDLSQL语句,以便将te... 目录概要案例一、如图两个数据库test_old和test_new进行比较:二、开始比较总结概要公司存在多

C++实现封装的顺序表的操作与实践

《C++实现封装的顺序表的操作与实践》在程序设计中,顺序表是一种常见的线性数据结构,通常用于存储具有固定顺序的元素,与链表不同,顺序表中的元素是连续存储的,因此访问速度较快,但插入和删除操作的效率可能... 目录一、顺序表的基本概念二、顺序表类的设计1. 顺序表类的成员变量2. 构造函数和析构函数三、顺序表

Go语言利用泛型封装常见的Map操作

《Go语言利用泛型封装常见的Map操作》Go语言在1.18版本中引入了泛型,这是Go语言发展的一个重要里程碑,它极大地增强了语言的表达能力和灵活性,本文将通过泛型实现封装常见的Map操作,感... 目录什么是泛型泛型解决了什么问题Go泛型基于泛型的常见Map操作代码合集总结什么是泛型泛型是一种编程范式,允