H264编码原理(二)帧内预测

2024-08-30 20:28
文章标签 原理 编码 预测 h264

本文主要是介绍H264编码原理(二)帧内预测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

假设你去了一家餐厅吃饭,这家餐厅提供了一个有趣的点餐方式。服务员会根据餐厅最近最受欢迎的菜品组合,推荐九个套餐给你。你的任务是从这九个套餐中找到一个最接近你心中想要的菜品组合的套餐,然后告诉服务员你想替换哪些菜,以得到你理想中的一餐。

通过这种点餐方式,你可以迅速找到与你所想菜品最接近的套餐,只需做少量的调整就能得到满意的组合。

类似地,在H.264编码中,编码器选择一个最合适的预测模式,通过少量的调整(即编码误差)得到最终的编码块,从而实现高效的压缩。

宏块(MacroBlock)

宏块,英文Macroblock,是视频编码技术中的一个基本概念。通过将画面分成一个个大小不同的块来来不同位置实行不同的压缩策略。
在视频编码中,一个编码图像通常划分成若干宏块组成,一个宏块由一个亮度像素块和附加的两个色度像素块组成。一般来说,亮度块为16x16大小的像素块,而两个色度图像像素块的大小依据其图像的采样格式而定,如:对于YUV420采样图像,色度块为8x8大小的像素块。

根据画面的复杂情况,宏块还可以被划分为若干子宏块。比如16X16还可以划分为16个4X4的宏块
每个图像中,若干宏块被排列成片(slice)的形式,视频编码算法以宏块为单位,逐个宏块进行编码,组织成连续的视频码流。

帧内预测

如果一个块或宏块在帧内模式下编码,那么预测块P是基于之前编码并重建(但未滤波)的块形成的。

最终编码的内容是 预测块P和当前块的残差值。

所以本文主要内容是如何产生预测块P。

对于亮度(luma)样本,P 可以为每个4x4子块或16x16宏块形成。对于每个4x4亮度块,总共有9种可选预测模式;对于16x16亮度块,有4种可选模式;色度块也有4 种预测模式,类似于16×16 亮度块预测模式。

4x4亮度预测模式

对于4*4的亮度预测模式
请添加图片描述
左图中A~Q是预测时可能依赖的数据,a~p是需要预测的数据区域。
右图形象的表示了8种预测模式(0~8)不包括2,2是DC模式,参考了所有方向的像素。

下图是对9种预测模式的细化
请添加图片描述

模式编号模式名称基本计算说明
0垂直预测 (Vertical)来自上方相邻块的像素值。
1水平预测 (Horizontal)来自左方相邻块的像素值。
2DC预测 (DC)上方和左方相邻像素值的平均值。
3斜下预测 (Diagonal Down-Left)根据斜下方向相邻块的像素值。
4斜上预测 (Diagonal Down-Right)根据斜上方向相邻块的像素值。
5垂直左预测 (Vertical-Left)根据略微偏左的垂直相邻块的像素值。
6垂直右预测 (Vertical-Right)根据略微偏右的垂直相邻块的像素值。
7水平上预测 (Horizontal-Up)根据略微偏上的水平相邻块的像素值。
8水平下预测 (Horizontal-Down)根据略微偏下的水平相邻块的像素值。

如果需要参考的数据没有怎么办?比如本身在最左边的数据还如何参考左边的?对于这些情况H264协议中都有解决方案,感兴趣可以参考协议文档中的参考实现或者X264的源码。

下面是一个例子,直观展示了9种预测方式产生的预测块是怎样的,同时还给出了The Sum of Absolute Errors (SAE),SAE表示和原图的差异,SAE越大,和原图的差异越大,我们选择SAE最小的一种模式,作为预测模式。
请添加图片描述

16X16亮度预测模式

和4X4的预测模式类似,16X16只有4种预测模式,
请添加图片描述

模式编号模式名称计算说明
0垂直预测 (Vertical)从块上方的样本进行外推预测。
1水平预测 (Horizontal)从块左方的样本进行外推预测。
2DC预测 (DC)使用左方和上方块的像素值均值进行预测。
3平面预测 (Plane)通过对左方和上方块的样本进行线性拟合,生成一个平滑的平面函数用于预测,适用于亮度平滑变化的区域。

也举个例子,
请添加图片描述

8X8色图预测模式

每个宏块的8x8色度分量也有四种预测模式,

和16x16亮度预测模式非常相似,唯一的不同在于模式编号的顺序不同:DC(模式0),水平(模式1),垂直(模式2)和平面(模式3)。

同样的预测模式总是应用于两个色度块。

注意:如果亮度分量中的任何8x8块是以帧内模式编码的,则两个色度块也都是以帧内模式编码的。

帧内预测如何编码

如果我们为每个4x4的宏块都分配一个帧内预测模式,那就需要大量的比特来存储这些模式信息。为了更高效地进行编码,我们可以利用图像的数据特点,即相邻宏块的预测模式通常很相似。

如下图所示,假设A和B的预测模式都是模式2,那么C的预测模式很有可能也是模式2。

请添加图片描述

那么我们如何利用这种特性呢?

我们定义一个计算值,称为most_probable_mode,表示最可能的预测模式。注意,这个值是计算出来的,不需要额外的比特来存储。

具体来说,如果A和B都是4x4的块,并且A、B、C位于同一个slice中(因为slice之间是相互独立的,不会互相参考),most_probable_mode的计算方式如下:

  • most_probable_mode = min(ModeA, ModeB) 否则,most_probable_mode = 2.

每个4x4的块会有一个flag,称为use_most_probable_mode。

  • 如果use_most_probable_mode = 1,预测模式就是most_probable_mode。

  • 如果use_most_probable_mode = 0,就需要分配一个remaining_mode_selector。

然后根据以下规则确定最终的预测模式:

  • 如果remaining_mode_selector < most_probable_mode,预测模式 = remaining_mode_selector。

  • 否则,预测模式 = remaining_mode_selector + 1。

这样设计的原因是为了减少表示预测模式所需的比特数。因为预测模式有9种,如果直接编码需要用4个bit(2^4 = 16),而上面的方法可以用3个bit表示9种预测模式。

通过利用most_probable_mode,我们可以更有效地压缩预测模式,从而提高编码效率,同时减少所需的比特数。

引用

H.264 / MPEG-4 Part 10 White Paper

这篇关于H264编码原理(二)帧内预测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1121842

相关文章

Java Spring 中 @PostConstruct 注解使用原理及常见场景

《JavaSpring中@PostConstruct注解使用原理及常见场景》在JavaSpring中,@PostConstruct注解是一个非常实用的功能,它允许开发者在Spring容器完全初... 目录一、@PostConstruct 注解概述二、@PostConstruct 注解的基本使用2.1 基本代

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Spring Boot循环依赖原理、解决方案与最佳实践(全解析)

《SpringBoot循环依赖原理、解决方案与最佳实践(全解析)》循环依赖指两个或多个Bean相互直接或间接引用,形成闭环依赖关系,:本文主要介绍SpringBoot循环依赖原理、解决方案与最... 目录一、循环依赖的本质与危害1.1 什么是循环依赖?1.2 核心危害二、Spring的三级缓存机制2.1 三

C#中async await异步关键字用法和异步的底层原理全解析

《C#中asyncawait异步关键字用法和异步的底层原理全解析》:本文主要介绍C#中asyncawait异步关键字用法和异步的底层原理全解析,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录C#异步编程一、异步编程基础二、异步方法的工作原理三、代码示例四、编译后的底层实现五、总结C#异步编程

Go 语言中的select语句详解及工作原理

《Go语言中的select语句详解及工作原理》在Go语言中,select语句是用于处理多个通道(channel)操作的一种控制结构,它类似于switch语句,本文给大家介绍Go语言中的select语... 目录Go 语言中的 select 是做什么的基本功能语法工作原理示例示例 1:监听多个通道示例 2:带

鸿蒙中@State的原理使用详解(HarmonyOS 5)

《鸿蒙中@State的原理使用详解(HarmonyOS5)》@State是HarmonyOSArkTS框架中用于管理组件状态的核心装饰器,其核心作用是实现数据驱动UI的响应式编程模式,本文给大家介绍... 目录一、@State在鸿蒙中是做什么的?二、@Spythontate的基本原理1. 依赖关系的收集2.

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI