音视频开发—H264码流组成

2024-06-01 22:44

本文主要是介绍音视频开发—H264码流组成,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文包含了编码过程的相关概念,如果不了解编码过程,请看这篇文章:H264相关概念和压缩原理详解
H.264视频编码标准将视频编码过程分为两个主要层次:视频编码层(VCL, Video Coding Layer)和网络抽象层(NAL, Network Abstraction Layer)。

文章目录

    • 视频编码层(VCL, Video Coding Layer)
      • VCL结构关系
    • 网络抽象层(NAL, Network Abstraction Layer)
    • H264码流相关概念
      • SODB(String Of Data Bits)
      • RBSP(Raw Byte Sequence Payload)
      • NALU(Network Abstraction Layer Unit)
      • H264切片:
    • 整体组成架构

视频编码层(VCL, Video Coding Layer)

  • 定义:VCL负责实际的视频数据编码。这一层执行视频压缩算法,将原始视频帧转换为压缩的比特流。
  • 功能:
    • 运动估计和补偿:减少时间冗余,通过参考前后帧来预测当前帧。
    • 变换和量化:减少空间冗余,使用离散余弦变换(DCT)等技术将图像数据转换为频率域并进行量化。
    • 熵编码:进一步压缩数据,通过无损编码技术如CABAC(上下文自适应二进制算术编码)或CAVLC(上下文自适应变长编码)进行压缩。
  • 输出:VCL生成的输出是SODB(String Of Data Bits),即原始数据比特流

VCL结构关系

每一个被压缩的视频帧由slice组成。大多数情况下,一帧图片帧对应一个slice,每一个slice 有很多宏块。宏块中又包含了子块。

在这里插入图片描述

网络抽象层(NAL, Network Abstraction Layer)

  • 定义:NAL负责将VCL生成的比特流封装成适合传输和存储的格式。NAL使得H.264编码的数据能够适应各种网络和存储环境。
  • 功能:
    • 封装和分片:将VCL生成的SODB封装成NAL单元(NALU),并根据需要将大的NALU分片。
    • 传输适应性:提供一种通用的格式,使视频数据能够在不同的传输协议(如RTP、MPEG-2 TS、HLS等)和存储格式(如MP4、MKV等)中传输和存储。
    • 错误恢复和同步:通过包含参数集(如SPS和PPS)和补充增强信息(SEI),提供错误恢复和流同步的支持。
  • 输出:NAL生成的输出是NALU(Network Abstraction Layer Unit),每个NALU包含一个NAL头和一个RBSP(Raw Byte Sequence Payload)。

H264码流相关概念

SODB(String Of Data Bits)

  • 定义:SODB是由视频编码层(VCL, Video Coding Layer)生成的原始数据比特流
  • 特性:长度不一定是8的倍数,这意味着在实际编码时,它可能需要进行一些填充以确保数据的对齐。

RBSP(Raw Byte Sequence Payload)

  • 定义:RBSP是对SODB进行处理后的数据,比SODB更接近传输格式。

  • 填充(Padding)

    :为了确保RBSP长度是字节的倍数(8的倍数),需要在SODB的末尾添加填充位。这些填充位通常是一个比特的"1"后跟零个或多个"0"。

    • 示例:假设SODB长度是10比特,RBSP将通过在末尾添加一个“1”比特和6个“0”比特,形成一个16比特(2字节)的数据。

NALU(Network Abstraction Layer Unit)

  • 定义:NALU是H.264码流的基本传输单元,由NAL头(NAL Header)和RBSP(Raw Byte Sequence Payload)组成。
  • 结构:
    • NAL头(NAL Header):包含关于NALU类型、优先级等的信息,通常是一个字节(8比特)。
    • RBSP(Raw Byte Sequence Payload):承载实际的编码数据,已经过填充处理以保证字节对齐。

相关关系如下图:

在这里插入图片描述

H264切片:

slice 储存在原始比特流中,slice包含了很多个宏块,宏块又包含了宏块类型,预测模式,残差值

在这里插入图片描述

整体组成架构

H264 码流分为两种类型,一种储存在文件中, 格式对应为Annexb 格式。一种通过网络传输,格式对应RTP格式。唯一的区别就是码流文件有起始码,而RTP包没有起始码

NALU是H.264码流的基本传输单元,由NAL头(NAL Header)和NALU Body组成。

NALU body 包含了具体的编码数据,这些编码数据由slice 组成。slice由许多的宏块组成,宏块又包含了宏块类型,预测模式,残差值压缩数据。

在这里插入图片描述

这篇关于音视频开发—H264码流组成的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1022302

相关文章

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

基于Python开发PDF转PNG的可视化工具

《基于Python开发PDF转PNG的可视化工具》在数字文档处理领域,PDF到图像格式的转换是常见需求,本文介绍如何利用Python的PyMuPDF库和Tkinter框架开发一个带图形界面的PDF转P... 目录一、引言二、功能特性三、技术架构1. 技术栈组成2. 系统架构javascript设计3.效果图

基于Python开发PDF转Doc格式小程序

《基于Python开发PDF转Doc格式小程序》这篇文章主要为大家详细介绍了如何基于Python开发PDF转Doc格式小程序,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 用python实现PDF转Doc格式小程序以下是一个使用Python实现PDF转DOC格式的GUI程序,采用T

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

Android开发中gradle下载缓慢的问题级解决方法

《Android开发中gradle下载缓慢的问题级解决方法》本文介绍了解决Android开发中Gradle下载缓慢问题的几种方法,本文给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、网络环境优化二、Gradle版本与配置优化三、其他优化措施针对android开发中Gradle下载缓慢的问

使用Go语言开发一个命令行文件管理工具

《使用Go语言开发一个命令行文件管理工具》这篇文章主要为大家详细介绍了如何使用Go语言开发一款命令行文件管理工具,支持批量重命名,删除,创建,移动文件,需要的小伙伴可以了解下... 目录一、工具功能一览二、核心代码解析1. 主程序结构2. 批量重命名3. 批量删除4. 创建文件/目录5. 批量移动三、如何安