音视频开发—H264码流组成

2024-06-01 22:44

本文主要是介绍音视频开发—H264码流组成,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文包含了编码过程的相关概念,如果不了解编码过程,请看这篇文章:H264相关概念和压缩原理详解
H.264视频编码标准将视频编码过程分为两个主要层次:视频编码层(VCL, Video Coding Layer)和网络抽象层(NAL, Network Abstraction Layer)。

文章目录

    • 视频编码层(VCL, Video Coding Layer)
      • VCL结构关系
    • 网络抽象层(NAL, Network Abstraction Layer)
    • H264码流相关概念
      • SODB(String Of Data Bits)
      • RBSP(Raw Byte Sequence Payload)
      • NALU(Network Abstraction Layer Unit)
      • H264切片:
    • 整体组成架构

视频编码层(VCL, Video Coding Layer)

  • 定义:VCL负责实际的视频数据编码。这一层执行视频压缩算法,将原始视频帧转换为压缩的比特流。
  • 功能:
    • 运动估计和补偿:减少时间冗余,通过参考前后帧来预测当前帧。
    • 变换和量化:减少空间冗余,使用离散余弦变换(DCT)等技术将图像数据转换为频率域并进行量化。
    • 熵编码:进一步压缩数据,通过无损编码技术如CABAC(上下文自适应二进制算术编码)或CAVLC(上下文自适应变长编码)进行压缩。
  • 输出:VCL生成的输出是SODB(String Of Data Bits),即原始数据比特流

VCL结构关系

每一个被压缩的视频帧由slice组成。大多数情况下,一帧图片帧对应一个slice,每一个slice 有很多宏块。宏块中又包含了子块。

在这里插入图片描述

网络抽象层(NAL, Network Abstraction Layer)

  • 定义:NAL负责将VCL生成的比特流封装成适合传输和存储的格式。NAL使得H.264编码的数据能够适应各种网络和存储环境。
  • 功能:
    • 封装和分片:将VCL生成的SODB封装成NAL单元(NALU),并根据需要将大的NALU分片。
    • 传输适应性:提供一种通用的格式,使视频数据能够在不同的传输协议(如RTP、MPEG-2 TS、HLS等)和存储格式(如MP4、MKV等)中传输和存储。
    • 错误恢复和同步:通过包含参数集(如SPS和PPS)和补充增强信息(SEI),提供错误恢复和流同步的支持。
  • 输出:NAL生成的输出是NALU(Network Abstraction Layer Unit),每个NALU包含一个NAL头和一个RBSP(Raw Byte Sequence Payload)。

H264码流相关概念

SODB(String Of Data Bits)

  • 定义:SODB是由视频编码层(VCL, Video Coding Layer)生成的原始数据比特流
  • 特性:长度不一定是8的倍数,这意味着在实际编码时,它可能需要进行一些填充以确保数据的对齐。

RBSP(Raw Byte Sequence Payload)

  • 定义:RBSP是对SODB进行处理后的数据,比SODB更接近传输格式。

  • 填充(Padding)

    :为了确保RBSP长度是字节的倍数(8的倍数),需要在SODB的末尾添加填充位。这些填充位通常是一个比特的"1"后跟零个或多个"0"。

    • 示例:假设SODB长度是10比特,RBSP将通过在末尾添加一个“1”比特和6个“0”比特,形成一个16比特(2字节)的数据。

NALU(Network Abstraction Layer Unit)

  • 定义:NALU是H.264码流的基本传输单元,由NAL头(NAL Header)和RBSP(Raw Byte Sequence Payload)组成。
  • 结构:
    • NAL头(NAL Header):包含关于NALU类型、优先级等的信息,通常是一个字节(8比特)。
    • RBSP(Raw Byte Sequence Payload):承载实际的编码数据,已经过填充处理以保证字节对齐。

相关关系如下图:

在这里插入图片描述

H264切片:

slice 储存在原始比特流中,slice包含了很多个宏块,宏块又包含了宏块类型,预测模式,残差值

在这里插入图片描述

整体组成架构

H264 码流分为两种类型,一种储存在文件中, 格式对应为Annexb 格式。一种通过网络传输,格式对应RTP格式。唯一的区别就是码流文件有起始码,而RTP包没有起始码

NALU是H.264码流的基本传输单元,由NAL头(NAL Header)和NALU Body组成。

NALU body 包含了具体的编码数据,这些编码数据由slice 组成。slice由许多的宏块组成,宏块又包含了宏块类型,预测模式,残差值压缩数据。

在这里插入图片描述

这篇关于音视频开发—H264码流组成的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1022302

相关文章

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

使用Python开发一个带EPUB转换功能的Markdown编辑器

《使用Python开发一个带EPUB转换功能的Markdown编辑器》Markdown因其简单易用和强大的格式支持,成为了写作者、开发者及内容创作者的首选格式,本文将通过Python开发一个Markd... 目录应用概览代码结构与核心组件1. 初始化与布局 (__init__)2. 工具栏 (setup_t

Spring Shell 命令行实现交互式Shell应用开发

《SpringShell命令行实现交互式Shell应用开发》本文主要介绍了SpringShell命令行实现交互式Shell应用开发,能够帮助开发者快速构建功能丰富的命令行应用程序,具有一定的参考价... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定义S

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版:拆分成模块让模块更强大:使用 __init__.py你一定会遇到的问题模www.

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

使用Python开发一个简单的本地图片服务器

《使用Python开发一个简单的本地图片服务器》本文介绍了如何结合wxPython构建的图形用户界面GUI和Python内建的Web服务器功能,在本地网络中搭建一个私人的,即开即用的网页相册,文中的示... 目录项目目标核心技术栈代码深度解析完整代码工作流程主要功能与优势潜在改进与思考运行结果总结你是否曾经

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件