YUV图像格式详解

2023-11-04 21:30
文章标签 详解 yuv 图像格式

本文主要是介绍YUV图像格式详解，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.概述

YUV是一种图像颜色编码方式。

相对于常见且直观的RGB颜色编码，YUV的产生自有其意义，它基于人眼对亮度比色彩的敏感度更高的特点，使用Y、U、V三个分量来表示颜色，并通过降低U、V分量的采样率，尽可能保证图像质量的情况下，做到如下3点：

  • 占用更低的存储空间
  • 数据传输效率更高
  • 兼容黑白与彩色显示

具体是怎么做到的，后文中会一一讲解，在此之前，先简单过一下图像基础知识

2.像素

想要深入了解YUV格式，必须得从Bit、Byte级别“看穿看透”它

Bit：位 —— 计算机硬件系统能识别的最基础单位
Byte：字节 —— 计算机文件系统能识别的最基础单位
像素：Pixel —— 显示图像的最基础单位

显示器上的一个像素点对应图像里的一个像素，不管哪种显示器，最终都是以像素为最小单位进行图像呈现。

  • 早期CRT显示器通过显像管中电子枪喷射电子流到屏幕实现。
  • 现在的LCD显示器通过电压改变液晶分子排列实现。
  • LED和OLED显示器则是通过点阵式发光二极管实现。

不论技术怎么革新，有两点是始终不变的：

  1. 显示的基础单元是像素
  2. 每个像素的色彩由红、绿、蓝三原色混合实现

三原色是什么？显示器像素点的颜色数据是怎么排列存储的？

带着问题先了解下RGB，为YUV的了解做个铺垫

3.RGB

RGB：用R、G、B三个分量来表示像素点颜色

  • R：红（Red）
  • G：绿（Green）
  • B：蓝（Blue）

这三种颜色就称为三原色，它们以不同比例混合能生成其他任意颜色

RGB表示一帧图像：

  • 每个像素点背后都包含一组R、G、B分量，像素点的颜色就是它们的混合
  • R、G、B每个分量分别占1个byte，也就是8个bit (也有其他精度，本博文不作研究)

一张分辨率 1280 * 720 的RGB图片，占用 1280 * 720 * 3 / 1024 / 1024 = 2.63MB 空间。

4.YUV表示图像

YUV：用Y、U、V三个分量来表示像素颜色

  • Y 表示亮度（Luminance、缩写Luma），即为灰度值
  • U 和 V 表示色度（Chrominance、缩写Chroma），即为色调和饱和度

YUV表示一帧图像：

默认Y、U、V每个分量占用存储空间1个byte(也有其他精度，本博文不作研究)

一张分辨率为 1280 * 720 的YUV图片，采用上图里每个像素都包含一组Y、U、V分量的情况下，还是会占用 "1280 * 720 * 3 / 1024 / 1024 = 2.63 MB" 空间。

问题来了，这不是跟RGB占用的空间一样吗？并没有什么优化啊！

前文概述中提到过，YUV是通过降低U、V分量的采样率来实现它占用空间小和传输效率高的优势。

也就是图像每个像素的Y分量都被完整采样全部保存，但是U、V分量只做部分采样，让多个像素按照一些规则共用U、V分量。

5.YUV类别

根据U、V分量的采样率不同，也就是多个像素共用U、V分量的规则不同，YUV有如下几个常见类别：

  • 4:4:4 一个像素一组Y、U、V
  • 4:4:0 垂直方向两个像素共用一组U、V
  • 4:2:2 水平方向两个像素共用一组U、V
  • 4:2:0 水平垂直四个像素共用一组U、V
  • 4:1:1 水平方向四个像素共用一组U、V

(1).YUV444:

每个像素都包含一组完整的Y、U、V分量
YUV444 每个像素占用的存储空间，也就是像素深度(piex_depth)为：3 * 8bit = 24bits
一帧 YUV444 图像占用的空间就是：w * h * 3byte 

(2).YUV440:

垂直方向两个相邻的像素共用一组U、V
YUV440的像素深度(piexl_depth)：(1 * 8bit) + (0.5 *8bit) + (0.5 *8bit) = 16bits
一帧 YUV444 图像占用的空间就是：w * h * 2byte 

(3).YUV422:

水平方向两个相邻的像素共用一组U、V
YUV422 的像素深度(piexl_depth)：(1 * 8bit) + (0.5 *8bit) + (0.5 *8bit) = 16bits
一帧 YUV444 图像占用的空间就是：w * h * 2byte 

(4).YUV411:

水平方向两个相邻的像素共用一组U、V
YUV411 的像素深度(piexl_depth)：(1 * 8bit) + 2*(0.25 *8bit)  = 12bits
一帧 YUV444 图像占用的空间就是：w * h * 1.5byte

(5).YUV420:

水平垂直方向四个相邻的像素共用一组U、V
YUV420的像素深度(piexl_depth)：(1 * 8bit) + 2*(0.25 *8bit)  = 12bits
一帧YUV444图像占用的空间就是：w * h * 1.5byte

注意： 

YUV420 因为是 2x2 矩阵平面的4个像素共用一组U、V
所以它的像素排列顺序在内存空间中有其特定规律，按"Z"字型排列

参考链接：2.7.1.2. Planar YUV formats — The Linux Kernel documentation 

(6).综述

如上所述，根据U、V分量不同的采样规则，YUV可以分为多个类别

以上列举的是较为常见的几种，还有其他YUV类别，有兴趣可自行研究

每一类YUV又可以根据Y、U、V三个分量数据的存储排列方式不同细分出不同格式

6.YUV数据存储模式

(1).三种存储模式

  • planar平面模式：先连续存储所有像素点的 Y 分量，
                                 再连续存 U 分量，
                                 然后连续存 V 分量
  • Semi-Planar半平面模式：先连续存储所有像素点的 Y 分量，
                                              再交替存储U、V分量
  • packed 打包模式：连续交替存储每个像素点的 Y、U、V 分量

注：在YUV422中，有时候会看到还有一种 Interleaved 模式，它其实就是 Packed，
       只不过YUV422格式中有人觉得用 Interleaved 这个词更形象一些，
       所以在YUV422中有时会用 Interleaved 代替 Packed 表述。

(2).三种存储模式图示：

以一张全采样 4x4=16 个像素的 ​​​​​​YUV444 格式图像为例，
它在三种模式下各分量在内存空间的排列如下：

Planar：3个矩阵平面分别存储Y、U、V分量数据

Semi-Planar：Semi即为"一半"，一个矩阵平面存Y，存U、V只用Planar的一半一个矩阵平面

Packed：Y、U、V三个分量交替存一个矩阵平面

当然，即便是YUV444全采样类别，三种模式下Y、U、V分量的存储排列也不仅仅只有上述三种，还可以排列出很多花样，产生多种格式，这一点在后面的章节会详细讲到。

(3) Y、U、V分量对应Byte[ ]数组示例

如果要对图像做一些操作，比如图像格式转换，任意区域裁剪，色值修改，像素插值等，就需要在图像最基础单元byte层面，将图像数据从内存中读出解析到byte[ ]数组来操作。

不同模式解析出来的byte[ ]数组个数是不一样的

  • Planar：          3个byte[ ]，分别对应Y、U、V 分量数据
  • Semi-Planar：2个byte[ ]，分别对应 Y 和 (U、V)
  • Packed：        1个byte[ ]，对应（Y、U、V)

Android Camera2中有个很形象的示例：
onImageAvailable(ImageReader reader) 回调获取到的Image图像就是YUV420 planar格式，Image有3个分别包含ByteBuffer的Plane，每个Plane的ByteBuffer解析成byte[ ]后，就会有如下对应关系：

@Override
public void onImageAvailable(ImageReader reader) {Image image = reader.acquireNextImage();ByteBuffer bufferY = image.getPlanes()[0].getBuffer();ByteBuffer bufferU = image.getPlanes()[1].getBuffer();ByteBuffer bufferV = image.getPlanes()[2].getBuffer();byte[] bytesY = new byte[bufferY.capacity()];byte[] bytesU = new byte[bufferU.capacity()];byte[] bytesV = new byte[bufferV.capacity()];bufferY.get(bytesY);bufferU.get(bytesU);bufferV.get(bytesV);image.close();
}

YUV420 planar:
byetdata[0] —— Y分量, Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8…, Y16, …
byetdata[1] —— U分量, U1, U2, U3, U4……
byetdata[2] —— V分量, V1, V2, V3, V4 ……

假设一下，
如果拿到的不是planar而是YUV420 semi-planar 或 YUV444 packed
图像数据解析成byte[ ]后的对应关系：
YUV420 semi-planar：
byetdata[0] —— Y分量,        Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8……
byetdata[1] —— U、V分量,  U1, V1, U2, V2……
byetdata[2] 没有

YUV444 packed：
byetdata[0] ——-Y、U、V分量,  Y1, U1, V1, Y2, U2, V2, Y3, U3, V3……
byetdata[1] 和byetdata[2] 没有

这么看可能不是太直观，下面就用图示看看不同格式的YUV，它的三个分量是怎么排列存储的

7.YUV格式详细注解

一帧宽：w，高：h 的YUV图像，

以8个像素为例，一些常见YUV格式分量的存储排列如下：

7.1 YUV420

(1).YUV420 Plannar：I420

YUV分量分别存放，先是 w * h 个的 Y，后面跟 w * h * 0.25 个 U， 最后是 w * h * 0.25 个 V
每个像素占用空间(像素深度)：1.5byte
总大小为： w * h * 1.5

(2).YUV420 Plannar：YV12

YUV 分量分别存放，先是 w * h 个 Y，后面跟 w * h * 0.25 个 V， 最后是 w * h * 0.25 个 U
每个像素占用空间(像素深度)：1.5byte
总大小为： w * h * 1.5

(3).YUV420 Semi-Planar：NV12

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 U 开始
每个像素占用空间(像素深度)：1.5byte
总大小为： w * h * 1.5

(4).YUV420 Semi-Planar：NV21

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 V开始
每个像素占用空间(像素深度)：1.5byte
总大小为：w * h * 1.5

7.2 YUV422

(1).YUV422 Plannar：I422

YUV 分量分别存放，先是 w * h 个 Y，后面跟 w * h * 0.5 个 U， 最后是 w * h * 0.5 个 V
每个像素占用空间(像素深度)：2byte
总大小为： w * h * 2

(2).YUV422 Plannar：YV16

UV 分量分别存放，先是 w * h 个 Y，后面跟 w * h * 0.5 个 V， 最后是 w * h * 0.5 个 U
每个像素占用空间(像素深度)：2byte
总大小为： w * h * 2

(3).YUV422 Semi-Planar：NV61

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 V 开始
每个像素占用空间(像素深度)：2byte
总大小为：w * h * 2

(4).YUV422 Semi-Planar：NV16

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 U 开始
每个像素占用空间(像素深度)：2byte
总大小为：w * h * 2

(4).YUV422Packed (Interleaved)：YUVY

Interleaved 即是 Packed ，在 Packed 内部，YUV 的排列顺序是 Y U V Y，两个 Y 共用一组 UV
每个像素占用空间(像素深度)：2byte
总大小为：w * h * 2

(6).YUV422Packed (Interleaved)：UYVY

YUV 的排列顺序是 UYVY，两个 Y 共用一组 UV
每个像素占用空间(像素深度)：2byte
总大小为：w * h * 2

7.3 YUV444

(1).YUV444 Plannar：I444

YUV 分量分别存放，先是 w * h 个 Y，后面跟 w * h 个 U， 最后是 w * h 个 V
每个像素占用空间(像素深度)：3byte
总大小为： w * h * 3

(2).YUV444 Plannar：YV24

YUV 分量分别存放，先是 w * h 个 Y，后面跟 w * h 个 V， 最后是 w * h 个 U
每个像素占用空间(像素深度)：3byte
总大小为：w * h * 3

(3).YUV444 Semi-Planar：NV24

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 U 开始。
每个像素占用空间(像素深度)：3byte
总大小为：w * h * 3

(4).YUV444 Semi-Planar：NV42

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 V 开始。
每个像素占用空间(像素深度)：3byte
总大小为：w * h * 3

8.YUV格式详图

下图即为YUV常见格式详细图示，方便后续查阅

最后一列仍是以8个像素点为例，简略地表示每个格式Y、U、V分量的存储排列

9.结束语

关于YUV格式就先讲解这么多。

在此篇博文撰写过程中，也参考了多篇官方和非官方的资料文档。

非官方的博文资料有的会出现一些纰漏，比如某种格式NV24，是UV交替还是VU交替，有的个人文档里就表述错了，遇到这种问题就需要参考官方资料进行比对。

感谢这些官方机构和个人博主们。

参考链接如下：

官方参考链接：
2. Image Formats — The Linux Kernel documentation
2.10. YUV Formats — The Linux Kernel documentation
2.7.1.2. Planar YUV formats — The Linux Kernel documentation
YUV - VideoLAN Wiki
Video Rendering with 8-Bit YUV Formats | Microsoft Learn

个人博客参考连接：
YUV 格式详解，只看这一篇就够了（转） - 知乎
YUV图像的常见格式（图示）_yuv图片-CSDN博客
YUV格式到底是什么？-CSDN博客
【精选】YUV格式详解【全】_编码笔记的博客-CSDN博客
音视频基础之YUV格式-CSDN博客
【精选】安卓camera2 API获取YUV420_888格式详解_yuv_420_888-CSDN博客

这篇关于YUV图像格式详解的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/345506。

相关文章

Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息，即可快速实现设备配网，是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递，利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力，实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后，即可发送相关配网数据。同时还支持与常规Sof
阅读更多...
6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

上篇：6.1.数据结构-c/c++模拟实现堆上篇（向下，上调整算法，建堆，增删数据）-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小)： 2.2 C语言代码（手写堆） 2.3 C++代码（使用优先级队列 priority_queue）
阅读更多...
K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述： 安装步骤： 安装Docker：K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master：在集群中选择一台主机作为Master节点，安装K8S的控制平面组件，如AP
阅读更多...
嵌入式Openharmony系统构建与启动详解

嵌入式Openharmony系统构建与启动详解

大家好，今天主要给大家分享一下，如何构建Openharmony子系统以及系统的启动过程分解。 第一：OpenHarmony系统构建      首先熟悉一下，构建系统是一种自动化处理工具的集合，通过将源代码文件进行一系列处理，最终生成和用户可以使用的目标文件。这里的目标文件包括静态链接库文件、动态链接库文件、可执行文件、脚本文件、配置文件等。      我们在编写hellowor
阅读更多...
LabVIEW FIFO详解

LabVIEW FIFO详解

在LabVIEW的FPGA开发中，FIFO（先入先出队列）是常用的数据传输机制。通过配置FIFO的属性，工程师可以在FPGA和主机之间，或不同FPGA VIs之间进行高效的数据传输。根据具体需求，FIFO有多种类型与实现方式，包括目标范围内FIFO（Target-Scoped）、DMA FIFO以及点对点流（Peer-to-Peer）。 FIFO类型 **目标范围FIFO（Target-Sc
阅读更多...
019、JOptionPane类的常用静态方法详解

019、JOptionPane类的常用静态方法详解

目录 JOptionPane类的常用静态方法详解 1. showInputDialog()方法 1.1基本用法 1.2带有默认值的输入框 1.3带有选项的输入对话框 1.4自定义图标的输入对话框 2. showConfirmDialog()方法 2.1基本用法 2.2自定义按钮和图标 2.3带有自定义组件的确认对话框 3. showMessageDialog()方法 3.1
阅读更多...
脏页的标记方式详解

脏页的标记方式详解

脏页的标记方式 一、引言 在数据库系统中，脏页是指那些被修改过但还未写入磁盘的数据页。为了有效地管理这些脏页并确保数据的一致性，数据库需要对脏页进行标记。了解脏页的标记方式对于理解数据库的内部工作机制和优化性能至关重要。 二、脏页产生的过程 当数据库中的数据被修改时，这些修改首先会在内存中的缓冲池（Buffer Pool）中进行。例如，执行一条 UPDATE 语句修改了某一行数据，对应的缓
阅读更多...
OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配） 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super
阅读更多...
web群集--nginx配置文件location匹配符的优先级顺序详解及验证

web群集--nginx配置文件location匹配符的优先级顺序详解及验证

文章目录 前言优先级顺序优先级顺序(详解)1. 精确匹配（Exact Match）2. 正则表达式匹配（Regex Match）3. 前缀匹配（Prefix Match） 匹配规则的综合应用验证优先级 前言 location的作用 在 NGINX 中，location 指令用于定义如何处理特定的请求 URI。由于网站往往需要不同的处理方式来适应各种请求，NGINX 提供了多种匹
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2