(论文分析) 图像相似度和图像可见性分析,即SSIM

2023-10-11 06:10
文章标签 分析 图像 ssim 论文 相似

本文主要是介绍(论文分析) 图像相似度和图像可见性分析,即SSIM,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这篇是论文   Image Quality Assessment: From Error Visibility to Structural Similarity    的解读

源链接https://www.cnblogs.com/jian-hello/p/3552108.html

1. 结构相似度

 

这篇文章的研究背景是建立一个衡量图像质量好坏的测量准则。客观图像质量测量分为两种,一种是使用参考标准图像,另一种是无参考标准图像。而本文是第一种类型的客观图像质量测量。

 

假设人类视觉系统(HVS)倾向于抽取结构化信息。

 

遭到批评的算法:

一幅图像的信号可以理解称为一幅无噪声信号图像(Refference Image Signal)和一幅误差信号(Error Image Signal)。主观感觉上的图像质量的丢失与误差信号(Error Signal)的可见性紧密相关。最简单的一种测量方式就是MSE,但是两个拥有相同MSE的受干扰图像可能有非常不同的误差类型,它们中的一些可能比另一些更加可见的。大多数的这种图像质量估计方法都试图根据所关心的误差的可见性对其进行加权。

 

基于误差可见性的图像质量估计方法的通用框架

 

 

预处理阶段(Pre processing)

(1)对受干扰图像和参考图像进行适当的放缩和对齐

(2)转换到一个适合于HVS的颜色空间

(3)quality assessment metrics may need to convert the digital pixel values stored in the computer memory into luminance values of pixels on the display device through point wise nonlinear transformations.

(4)使用模拟eye optics 的点分布功能(point spread function)的低通滤波器

(5)对两幅图像使用一个非线性操作来模拟光照(light adaptation)

 

 

CSF 滤波(CSF filtering)

The contrast sensitivity function(CSF) 描绘了HVS对在视觉冲击中呈现出的不同空间时间频率的敏感度。一些图像质量评估方法将要根据这个函数进行加权。但是许多最新的测量方法选择将CSF看作一个敏感性规范化因子。

 

 

通道分解(Channel Decomposition)

图像根据空间时间频率以及方向分解到一些子带中去。尽管一些质量估计方法执行复杂的通道分解,其相信它们与神经响应紧密相连,但是大量的方法使用如DCT等简单的变换。

 

误差规范化(Error Normalization)

在参考图像和受干扰图像之间的差异根据一个masking model进行计算。这一差异考虑了这一事实,一个图像内容的出现将要降低在其空间或时间,空间频率或方向附近出现的另一个内容的可见性。

 

Normalization 过程就是打算将误差转换到Just noticeable difference 单位。

 

Masking Model 似乎很有意思:

为了能说清楚以下这些模型如何操作,我们将以JPEG 的DCT量化为背景进行,首先说一下这个背景知识:

图像压缩一般是这样进行的,将图像分成若干个8*8的块。每块都进行DCT变换,从而形成,其中i,j是DCT的频率的索引,k是这幅图像所分成的块的索引。每一块利用一个量化矩阵进行量化(),

量化误差使用如下的公式进行计算:

从人眼的特性以及心理学来讲,对于每个频率i,j,可以产生一个可见的信号的阈值是。也就是说,只有频率系数超过这个阈值,才可以产生一个能够被人感知的信号。最大可能的量化误差

于是为了使误差不可见,我们需要设置:

 

从上面的分析我们可以看到,阈值是独立于图像的。下面这些方法是告诉我们可以如何为每一块图像进行量化,从而使压缩率相同的情况下,图像质量更加。

 

 

Luminance Masking

上面这一组图像中每一个有同样的幅度,但是有不同的均值。左侧的亮度最小,右侧的亮度最大。正如所见,在左侧的图像中,内容可见性更强。这也就是说,当平均亮度更高时,区域内同等程度的变化只能产生较小的对比度(可见性较差)。

举例来说,量化到223~200比量化到123~100,区域中的内容可见性较低。因而我们有这样的想法,在亮度值大的区域,设定的阈值更大,从而量化程度更大。这主要是因为在这些区域里,图像细节不易被人眼识别。基于这样的想法,Andrew B.Watson设计了这样一个公式:

其中相当于平均亮度值(DCT变换中的第一个系数)。从这个公式中可以看出,平均亮度越大(越大),阈值越大,量化值越大。

 

 

Contrast Masking

原理介绍:当一个图像内容位于有相似空间频率和方向的图像内容区域,这个图像内容将要对人眼不可见。由于DCT变换的特性,DCT系数矩阵中的每个系数表示着在8×8区域块中特定空间频率和方向。一个DCT系数值越大,那么在这个块中,特定的空间频率和方向的内容出现更多。

 

基于这样的想法Andrew B.Watson设计了如下的公式:

 

Noise Masking

Mutural Masking

 

如何实际使用这些遮挡模型呢?需要进一步分析.

 

Reference:

(1)Perceptual quality metrics applied to still image compression

(2)DCTune: A technique for visual optimization of DCT Quantization matrices for individual images

(3)http://scien.stanford.edu/pages/labsite/1998/psych221/projects/98/dctune/yuke/index.htm

 

 

Just noticeable difference (JND) 

 

Error Pooling

这是质量评价模型的最后一步。它将要结合不同通道,不同空间位置的normalized error signals 到一个值。

 

 

局限性

这种模型必须基于一系列强假设:

 

(1)图像质量定义问题——误差可见性不一定等价于图像质量的损失。

(2)阈值问题——进行误差敏感性模型的心理学实验被设计来估计一个冲击响应仅仅可见时的阈值。这些测量阈值可以用来idngyi可见误差的敏感性例如,CSF和各种Masking Effects。但是否可以将这样模型扩展到来刻画失真程度(人类主观感觉),不清楚。

(3)自然图像的复杂问题——大量的心里学实验都是针对简单模式进行的,例如spots, bars, sinusoidal gratings。the SCF is typically obtained from threshold experiments using global sinusoidal images. The masking phenomena are usually characterized using a superposition of two different patterns.

(4)不相关问题——当我们选择上面Error Pooling中的计算式时,我们已经架设在不同位置上的error是统计独立的。但事实上并不是这样。

(5)理解交互问题(Cognitive Interaction Problem)——认知和交互视觉问题将要影响对图像质量的理解。

 

 

称赞自己的算法:

基本想法

自然图像信号是高度结构化的:像素之间呈现出很强的依赖性,特别是在它们空间邻近时,这些依赖性携带着关于目标的结构信息。

如何提取这些结构信息呢?这就是这篇论文的关键。

 

The Structural SIMilarity(SSIM) Index

 

作者定义在一副图像中的结构信息代表着独立于平均亮度及对比度的对象(object)的结构。作者将结构相似性分为三个部分:(1)luminance;(2)contrast;(3)structure。

(1)luminance

 

 

(2)contrast

(3)structure

 

将三个成分结合从而产生一个相似度测量

 

Reference: Image Quality Assessment: From Error Visibility to Structural Similarity

 

2. FSIM 基于特征相似度的图像质量估计

 

如何利用HSV的呢?

作者声称,根据心理学和生理学的证据,可察觉的特征一般位于这样的一些点上,在这些点上傅里叶变换在不同频率上有相同的相位,例如在高度相位一致性的点上的特征能更吸引人的注意。

 

(1)相位一致性(Phase Congruency)

 

PC能够被认为是一个局部特征重要性的评估量。有不同的方式来计算一副给定图像的PC map,在这篇文章中使用Kovesi的方法。

对于二维图像,可以对上面的公式进行进一步扩展得到,具体细节见论文,及相应代码。

 

问题:为什么这样定义的PC量可以说明PC值越大在这一点上的傅里叶成分的相位一致性越强呢?

 

(2)梯度幅值

 

FSIM Index

 

分为两个阶段,第一阶段针对PC的局部相似度和梯度的局部相似度计算相似度map;第二阶段结合两个相似度map到一个相似度分数。

第一阶段:

 

第二阶段:

 

由于在一个位置的PC值反应着在这个点上的结构信息能够被人识别的程度。因为可以利用这个进行加权,

这个值越大说明,当前所测试的图像越接近参考图像。

 

Reference: FSIM A Feature Similarity Index for Image Quality Assessment

这篇关于(论文分析) 图像相似度和图像可见性分析,即SSIM的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/186105

相关文章

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用,例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具,该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明,MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能,MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境,如果是隔离环境,无法连接互联网时,请先按照 离线环境安装依赖的指导进行依赖包的安装,然后按照本文的指导继续操作。如果网络环境可以连接互联网,请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

线性因子模型 - 独立分量分析(ICA)篇

序言 线性因子模型是数据分析与机器学习中的一类重要模型,它们通过引入潜变量( latent variables \text{latent variables} latent variables)来更好地表征数据。其中,独立分量分析( ICA \text{ICA} ICA)作为线性因子模型的一种,以其独特的视角和广泛的应用领域而备受关注。 ICA \text{ICA} ICA旨在将观察到的复杂信号

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

【软考】希尔排序算法分析

目录 1. c代码2. 运行截图3. 运行解析 1. c代码 #include <stdio.h>#include <stdlib.h> void shellSort(int data[], int n){// 划分的数组,例如8个数则为[4, 2, 1]int *delta;int k;// i控制delta的轮次int i;// 临时变量,换值int temp;in