一文看懂图像格式 RAW、RGB、YUV、Packed/Unpacked、Bayer、MIPI、Planar、Semi-Planar、Interleaved

本文主要是介绍一文看懂图像格式 RAW、RGB、YUV、Packed/Unpacked、Bayer、MIPI、Planar、Semi-Planar、Interleaved,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一、通用属性

1. Packed/Unpacked

2. 压缩/非压缩

二、RAW

1. Bayer格式

2. 分类

3. MIPI RAW

三、RGB

分类

四、YUV

1. YUV与RGB转换

2. 分类

3. 内存计算

五、压缩格式


有的人,错过了,一生再也找寻不到。

本文详细分析各种图像格式(RAW、RGB、YUV)的分类、内存分布。一篇文章让你看懂。

一、通用属性

1. Packed/Unpacked

一个像素点占n个bit,如果n不是8的倍数,那么就有Packed、Unpacked的概念。试想某格式一个像素10bit(比如Raw10),如果Unpacked,那么实际一个像素要占2Byte=16bit,其中前10bit才有图像数据,后6bit占位(一般是0)。如果是Packed,那么就没有占位。

2. 压缩/非压缩

为方便大尺寸图像存储、传输,常用压缩的方法进行。

对于isp而言,常见压缩算法有FLC(Fixed Length Compression)、AFBC(Arm Frame Buffer Compression),JPEG等。

下文所讲内存分布均指非压缩格式,因为压缩后的内存分布由算法决定。

二、RAW

RAW的含义是“未经处理加工”。

RAW图像是CCD/CMOS等sensor直接采集到的图像,是光信号转化为电信号时的电平高低的原始记录。

1. Bayer格式

RAW一般采用Bayer格式(单个像素为R/G/B光强信息)进行排列,由于人眼对绿色更加敏感,因此增加对绿光的采样。主要有四种排序:

  • RGGB
  • BGGR
  • GRBG
  • GBRG

举例一个像素是8*8的sensor,BGGR格式的RAW图像:

要么你可能会问,一个像素只有一种颜色R/G/B,那我们看到的图像比如第一个像素不一定是只有B。因为后面会插值计算出每个pixel的其他分量!以降低功耗。 

2. 分类

  • RAW8:1 pixel 8 bits
  • RAW10Unpacked:1 pixel 2 Bytes(16bits,有6bit没用)
  • RAW10Packed:1 pixel 10 bits
  • RAW12Unpacked/RAW12Packed
  • RAW14Unpacked/RAW14Packed
  • RAW16
  • ......

RAW格式很大,往往需要压缩处理存入DDR。

3. MIPI RAW

MIPI RAW可以看做为一种Packed RAW,只是要按照MIPI RAW的存储规则来Packed。既然是Packed,举例来说,对于MIPI RAW10,5个Byte(40bits)就可以存4个像素的数据(4*10bits),没有空bit。

三、RGB

每个像素由三原色R/G/B组成,注意和RAW的区别,RAW每个像素只有一个三原色。

分类

  • RGB565:1 pixel 16 bits(R 5bits、G 6bits、B 5bits)
  • RGB555:1 pixel 16 bits(有1bit不用)
  • RGB24:1 pixel 24 bits(RGB各8bits)
  • RGB32:1 pixel 32 bits(RGB各8bits,有8bits不用)
  • ARGB32:1 pixel 32 bits(RGB各8bits,还有Alpha透明度8bits)

四、YUV

YUV是用一个亮度分量Y和两个色度分量U,V来描述一个颜色。只有Y的话就是灰度图像。

1. YUV与RGB转换

YUV转RGB

R = Y + 1.13983 * V
G = Y - 0.39465 * U - 0.58060 * V
B = Y + 2.03211 * U

RGB转YUV

Y = 0.299 * R + 0.587 * G + 0.114 * B
U = -0.14713 * R - 0.28886 * G + 0.436 * B
V = 0.615 * R - 0.51499 * G - 0.10001 * B

2. 分类

由于人眼对Y的敏感度远超对U、V的敏感度,所以有时可用多个Y共用一组U、V,既节省了空间又保证了质量。

常用格式分类:

  • YUV420,4个Y共用一套UV,数据个数1.5*w*h
  • YUV422,2个Y共用一套UV,数据个数2*w*h
  • YUV444,不共用,1个Y一套UV,数据个数3*w*h

如果一个像素是8bit,那么存储占用对于YUV420就是1.5*w*h*8 bits=1.5*w*h Bytes 。

YUV的内存分布按Y、U、V三个分量的排列顺序,可分为

  • Planar,三个分量分开存放
  • Semi-Planar,Y分量单独存放,UV分量交错一起存放
  • Packed/Interleaved,三个分量交错一起存放

注意:这里的Packed和图像的Packed是两个概念!这里的Packed指的是所有像素分量交错;图像的Packed是一个像素点n bits无空位排列。 

I420(也叫YU12,或YUV420 Planar)

总数据个数w*h+0.25*w*h+0.25*w*h=1.5*w*h

YYYY
YYYY
UU
VV

当然,对于计算机内存来说,只是从某个addr开始一直存储,先存Y再存U再存V

YV12(YVU420 Planar)

总数据个数w*h+0.25*w*h+0.25*w*h=1.5*w*h

YYYY
YYYY
VV
UU

NV12(YUV420 Semi-Planar)

总数据个数w*h+0.5*w*h=1.5*w*h

YYYY
YYYY
UVUV

NV21(YVU420 Semi-Planar)

总数据个数w*h+0.5*w*h=1.5*w*h

YYYY
YYYY
VUVU

I422(YUV422 Planar)

总数据个数w*h+0.5*w*h+0.5*w*h=2*w*h

YYYY
YYYY
UUUU
VVVV

 YV16(YVU422 Planar)

总数据个数w*h+0.5*w*h+0.5*w*h=2*w*h

YYYY
YYYY
VVVV
UUUU

  NV16(YUV422 Semi-Planar)

总数据个数w*h+0.5*w*h+0.5*w*h=2*w*h

YYYY
YYYY
UVUV
UVUV

  NV61(YVU422 Semi-Planar)

总数据个数w*h+0.5*w*h+0.5*w*h=2*w*h

YYYY
YYYY
VUVU
VUVU

YUVY(YUV422 Interleaved)

总数据个数w*h+0.5*w*h+0.5*w*h=2*w*h

YUVY YUVY
YUVY YUVY

 VYUY(VYU422 Interleaved)

总数据个数w*h+0.5*w*h+0.5*w*h=2*w*h

VYUY VYUY
VYUY VYUY

  UYVY(UYV422 Interleaved)

总数据个数w*h+0.5*w*h+0.5*w*h=2*w*h

UYVY UYVY
UYVY UYVY

I444(YUV 444 Planar)

总数据个数w*h*3

YYYY
YYYY
UUUU
UUUU
VVVV
VVVV

YV24(YVU 444 Planar)

总数据个数w*h*3

YYYY
YYYY
VVVV
VVVV
UUUU
UUUU

NV24(YUV 444 Semi-Planar)

总数据个数w*h*3

YYYY
YYYY
UVUVUVUV
UVUVUVUV

 NV42(YVU 444 Semi-Planar)

总数据个数w*h*3

YYYY
YYYY
VUVUVUVU
VUVUVUVU

YUV 444 Packed

总数据个数w*h*3

YUV YUV
YUV YUV

3. 内存计算

有了上面的基础,内存计算就超级简单。比如:

YUV420SP8,内存占用即为1.5*w*h Bytes

YUV420SP10 Unpacked,内存占用即为1.5*w*h*2 Bytes,因为Unpacked时10bit要占2Bytes,有6bits的空位。

YUV420SP10 Packed,内存占用即为1.5*w*h*10/8 Bytes。没用空位。

1920*1080的NV12 8bit图像,占内存为1.5*1920*1080 = 3,110,400 Bytes ≈ 3MB,这就是3MB图像的由来,内存占用还是挺大的。

五、压缩格式

JPEG,PNG,GIF,BMP,TIFF,TGA等等。

不断更新,还在路上......

这篇关于一文看懂图像格式 RAW、RGB、YUV、Packed/Unpacked、Bayer、MIPI、Planar、Semi-Planar、Interleaved的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/321440

相关文章

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

一文带你了解SpringBoot中启动参数的各种用法

《一文带你了解SpringBoot中启动参数的各种用法》在使用SpringBoot开发应用时,我们通常需要根据不同的环境或特定需求调整启动参数,那么,SpringBoot提供了哪些方式来配置这些启动参... 目录一、启动参数的常见传递方式二、通过命令行参数传递启动参数三、使用 application.pro

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

一文详解SQL Server如何跟踪自动统计信息更新

《一文详解SQLServer如何跟踪自动统计信息更新》SQLServer数据库中,我们都清楚统计信息对于优化器来说非常重要,所以本文就来和大家简单聊一聊SQLServer如何跟踪自动统计信息更新吧... SQL Server数据库中,我们都清楚统计信息对于优化器来说非常重要。一般情况下,我们会开启"自动更新

一文详解kafka开启kerberos认证的完整步骤

《一文详解kafka开启kerberos认证的完整步骤》这篇文章主要为大家详细介绍了kafka开启kerberos认证的完整步骤,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、kerberos安装部署二、准备机器三、Kerberos Server 安装1、配置krb5.con

一文详解Nginx的强缓存和协商缓存

《一文详解Nginx的强缓存和协商缓存》这篇文章主要为大家详细介绍了Nginx中强缓存和协商缓存的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、强缓存(Strong Cache)1. 定义2. 响应头3. Nginx 配置示例4. 行为5. 适用场景二、协商缓存(协

一文详解如何在Python中使用Requests库

《一文详解如何在Python中使用Requests库》:本文主要介绍如何在Python中使用Requests库的相关资料,Requests库是Python中常用的第三方库,用于简化HTTP请求的发... 目录前言1. 安装Requests库2. 发起GET请求3. 发送带有查询参数的GET请求4. 发起PO

一文详解Java Condition的await和signal等待通知机制

《一文详解JavaCondition的await和signal等待通知机制》这篇文章主要为大家详细介绍了JavaCondition的await和signal等待通知机制的相关知识,文中的示例代码讲... 目录1. Condition的核心方法2. 使用场景与优势3. 使用流程与规范基本模板生产者-消费者示例

电脑密码怎么设置? 一文读懂电脑密码的详细指南

《电脑密码怎么设置?一文读懂电脑密码的详细指南》为了保护个人隐私和数据安全,设置电脑密码显得尤为重要,那么,如何在电脑上设置密码呢?详细请看下文介绍... 设置电脑密码是保护个人隐私、数据安全以及系统安全的重要措施,下面以Windows 11系统为例,跟大家分享一下设置电脑密码的具体办php法。Windo