H264编码原理(二)帧内预测

2024-08-30 20:28
文章标签 原理 编码 预测 h264

本文主要是介绍H264编码原理(二)帧内预测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

假设你去了一家餐厅吃饭,这家餐厅提供了一个有趣的点餐方式。服务员会根据餐厅最近最受欢迎的菜品组合,推荐九个套餐给你。你的任务是从这九个套餐中找到一个最接近你心中想要的菜品组合的套餐,然后告诉服务员你想替换哪些菜,以得到你理想中的一餐。

通过这种点餐方式,你可以迅速找到与你所想菜品最接近的套餐,只需做少量的调整就能得到满意的组合。

类似地,在H.264编码中,编码器选择一个最合适的预测模式,通过少量的调整(即编码误差)得到最终的编码块,从而实现高效的压缩。

宏块(MacroBlock)

宏块,英文Macroblock,是视频编码技术中的一个基本概念。通过将画面分成一个个大小不同的块来来不同位置实行不同的压缩策略。
在视频编码中,一个编码图像通常划分成若干宏块组成,一个宏块由一个亮度像素块和附加的两个色度像素块组成。一般来说,亮度块为16x16大小的像素块,而两个色度图像像素块的大小依据其图像的采样格式而定,如:对于YUV420采样图像,色度块为8x8大小的像素块。

根据画面的复杂情况,宏块还可以被划分为若干子宏块。比如16X16还可以划分为16个4X4的宏块
每个图像中,若干宏块被排列成片(slice)的形式,视频编码算法以宏块为单位,逐个宏块进行编码,组织成连续的视频码流。

帧内预测

如果一个块或宏块在帧内模式下编码,那么预测块P是基于之前编码并重建(但未滤波)的块形成的。

最终编码的内容是 预测块P和当前块的残差值。

所以本文主要内容是如何产生预测块P。

对于亮度(luma)样本,P 可以为每个4x4子块或16x16宏块形成。对于每个4x4亮度块,总共有9种可选预测模式;对于16x16亮度块,有4种可选模式;色度块也有4 种预测模式,类似于16×16 亮度块预测模式。

4x4亮度预测模式

对于4*4的亮度预测模式
请添加图片描述
左图中A~Q是预测时可能依赖的数据,a~p是需要预测的数据区域。
右图形象的表示了8种预测模式(0~8)不包括2,2是DC模式,参考了所有方向的像素。

下图是对9种预测模式的细化
请添加图片描述

模式编号模式名称基本计算说明
0垂直预测 (Vertical)来自上方相邻块的像素值。
1水平预测 (Horizontal)来自左方相邻块的像素值。
2DC预测 (DC)上方和左方相邻像素值的平均值。
3斜下预测 (Diagonal Down-Left)根据斜下方向相邻块的像素值。
4斜上预测 (Diagonal Down-Right)根据斜上方向相邻块的像素值。
5垂直左预测 (Vertical-Left)根据略微偏左的垂直相邻块的像素值。
6垂直右预测 (Vertical-Right)根据略微偏右的垂直相邻块的像素值。
7水平上预测 (Horizontal-Up)根据略微偏上的水平相邻块的像素值。
8水平下预测 (Horizontal-Down)根据略微偏下的水平相邻块的像素值。

如果需要参考的数据没有怎么办?比如本身在最左边的数据还如何参考左边的?对于这些情况H264协议中都有解决方案,感兴趣可以参考协议文档中的参考实现或者X264的源码。

下面是一个例子,直观展示了9种预测方式产生的预测块是怎样的,同时还给出了The Sum of Absolute Errors (SAE),SAE表示和原图的差异,SAE越大,和原图的差异越大,我们选择SAE最小的一种模式,作为预测模式。
请添加图片描述

16X16亮度预测模式

和4X4的预测模式类似,16X16只有4种预测模式,
请添加图片描述

模式编号模式名称计算说明
0垂直预测 (Vertical)从块上方的样本进行外推预测。
1水平预测 (Horizontal)从块左方的样本进行外推预测。
2DC预测 (DC)使用左方和上方块的像素值均值进行预测。
3平面预测 (Plane)通过对左方和上方块的样本进行线性拟合,生成一个平滑的平面函数用于预测,适用于亮度平滑变化的区域。

也举个例子,
请添加图片描述

8X8色图预测模式

每个宏块的8x8色度分量也有四种预测模式,

和16x16亮度预测模式非常相似,唯一的不同在于模式编号的顺序不同:DC(模式0),水平(模式1),垂直(模式2)和平面(模式3)。

同样的预测模式总是应用于两个色度块。

注意:如果亮度分量中的任何8x8块是以帧内模式编码的,则两个色度块也都是以帧内模式编码的。

帧内预测如何编码

如果我们为每个4x4的宏块都分配一个帧内预测模式,那就需要大量的比特来存储这些模式信息。为了更高效地进行编码,我们可以利用图像的数据特点,即相邻宏块的预测模式通常很相似。

如下图所示,假设A和B的预测模式都是模式2,那么C的预测模式很有可能也是模式2。

请添加图片描述

那么我们如何利用这种特性呢?

我们定义一个计算值,称为most_probable_mode,表示最可能的预测模式。注意,这个值是计算出来的,不需要额外的比特来存储。

具体来说,如果A和B都是4x4的块,并且A、B、C位于同一个slice中(因为slice之间是相互独立的,不会互相参考),most_probable_mode的计算方式如下:

  • most_probable_mode = min(ModeA, ModeB) 否则,most_probable_mode = 2.

每个4x4的块会有一个flag,称为use_most_probable_mode。

  • 如果use_most_probable_mode = 1,预测模式就是most_probable_mode。

  • 如果use_most_probable_mode = 0,就需要分配一个remaining_mode_selector。

然后根据以下规则确定最终的预测模式:

  • 如果remaining_mode_selector < most_probable_mode,预测模式 = remaining_mode_selector。

  • 否则,预测模式 = remaining_mode_selector + 1。

这样设计的原因是为了减少表示预测模式所需的比特数。因为预测模式有9种,如果直接编码需要用4个bit(2^4 = 16),而上面的方法可以用3个bit表示9种预测模式。

通过利用most_probable_mode,我们可以更有效地压缩预测模式,从而提高编码效率,同时减少所需的比特数。

引用

H.264 / MPEG-4 Part 10 White Paper

这篇关于H264编码原理(二)帧内预测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1121842

相关文章

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

VSCode中C/C++编码乱码问题的两种解决方法

《VSCode中C/C++编码乱码问题的两种解决方法》在中国地区,Windows系统中的cmd和PowerShell默认编码是GBK,但VSCode默认使用UTF-8编码,这种编码不一致会导致在VSC... 目录问题方法一:通过 Code Runner 插件调整编码配置步骤方法二:在 PowerShell

JAVA封装多线程实现的方式及原理

《JAVA封装多线程实现的方式及原理》:本文主要介绍Java中封装多线程的原理和常见方式,通过封装可以简化多线程的使用,提高安全性,并增强代码的可维护性和可扩展性,需要的朋友可以参考下... 目录前言一、封装的目标二、常见的封装方式及原理总结前言在 Java 中,封装多线程的原理主要围绕着将多线程相关的操

kotlin中的模块化结构组件及工作原理

《kotlin中的模块化结构组件及工作原理》本文介绍了Kotlin中模块化结构组件,包括ViewModel、LiveData、Room和Navigation的工作原理和基础使用,本文通过实例代码给大家... 目录ViewModel 工作原理LiveData 工作原理Room 工作原理Navigation 工

Java的volatile和sychronized底层实现原理解析

《Java的volatile和sychronized底层实现原理解析》文章详细介绍了Java中的synchronized和volatile关键字的底层实现原理,包括字节码层面、JVM层面的实现细节,以... 目录1. 概览2. Synchronized2.1 字节码层面2.2 JVM层面2.2.1 ente

MySQL的隐式锁(Implicit Lock)原理实现

《MySQL的隐式锁(ImplicitLock)原理实现》MySQL的InnoDB存储引擎中隐式锁是一种自动管理的锁,用于保证事务在行级别操作时的数据一致性和安全性,本文主要介绍了MySQL的隐式锁... 目录1. 背景:什么是隐式锁?2. 隐式锁的工作原理3. 隐式锁的类型4. 隐式锁的实现与源代码分析4

MySQL中Next-Key Lock底层原理实现

《MySQL中Next-KeyLock底层原理实现》Next-KeyLock是MySQLInnoDB存储引擎中的一种锁机制,结合记录锁和间隙锁,用于高效并发控制并避免幻读,本文主要介绍了MySQL中... 目录一、Next-Key Lock 的定义与作用二、底层原理三、源代码解析四、总结Next-Key L

Python如何实现读取csv文件时忽略文件的编码格式

《Python如何实现读取csv文件时忽略文件的编码格式》我们再日常读取csv文件的时候经常会发现csv文件的格式有多种,所以这篇文章为大家介绍了Python如何实现读取csv文件时忽略文件的编码格式... 目录1、背景介绍2、库的安装3、核心代码4、完整代码1、背景介绍我们再日常读取csv文件的时候经常