图像显著性研究

人类可以快速准确地识别视觉场中的显著区域。在机器上模拟人类的这种能力对于使机器能够像人类一样处理视觉内容是至关重要的。在过去的几十年内，已有大量的显著性检测方法进入了公开发表。这些方法中的大部分[1-4]都趋向于预测人眼视觉注视点。然而这些人眼视觉注视点只是一些空间中的离散点，并不能准确地标识整个显著区域[5-6]。
近些年来，一些科研单位和研究人员已经开始密切关注于显著区域检测方法的构建工作，如洛桑联邦理工学院的Sabine Süsstrunk研究员，以色列理工学院的Ayellet Tal教授，微软亚洲研究院的研究人员，清华大学的胡世民教授等。显著区域检测方法对以下领域发挥着重大的助益作用：图像分割[7]、物体检测[8]、内容保持的图像缩放[9]等。本文将对显著区域检测算法的研究现状进行介绍，同时对典型的显著区域检测算法进行分析。
文章内容组织结构为：第2节对现有的显著区域检测算法进行了分类和分析；第3节对典型的显著区域检测算法进行了评测；最后在第4节给出了总结，并展望了下一步的研究工作。
1显著区域检测算法分类及分析
感知方面的研究成果表明[10]：在低层视觉显著性中，对比度是最重要的影响因素。现有的显著区域检测算法通过计算每个图像子区域同其一定范围内的相邻区域的对比度来度量该图像子区域的显著性。而依据用于计算对比度的相邻区域空间范围的不同，现有的显著区域检测算法可分为两类：基于局部对比的算法[6，11-12]和基于全局对比的算法[13-18]。下面分别对其探讨如下。
1.1基于局部对比的显著区域检测算法
基于局部对比的显著区域检测算法通过计算每个图像子区域或像素同其周围一个小的局部领域的对比度来度量该图像子区域或像素的显著性。Ma等人[11]提出了一种基于局部对比和模糊生长的显著区域检测算法。该方法首先对输入图像进行均值滤波和降采样。然后，该方法对新产生的低分辨率图像中的每个像素计算其与周围N个像素的LUV颜色向量的欧几里得距离之和， 并将此值作为该像素的显著值。为了从产生的显著图中提取显著区域，Ma等人[11]运用模糊生长（fuzzy growing）的方法提取显著区域。Liu等人[6]为了更加准确地检测显著区域，提出了一系列新的局部区域和全局特征用于计算显著性。这些特征包括：多尺度对比，中心-周围直方图和颜色空间分布。该方法通过学习一个条件随机场来高效地结合上述这些特征用于检测显著区域。由上可知，因为只是通过局部对比来检测显著区域，所以基于局部对比的方法趋向于关注边缘周围的区域，而不会突出整个显著区域（在生成的显著图中即表现为边缘周围的区域具有高的显著值，而显著区域内部的显著值则较低）。这个问题可以称其为“不一致突出显著区域”问题。
1.2基于全局对比的显著区域检测算法
基于全局对比的显著区域检测算法将整幅图像作为对比区域来计算每个图像子区域或像素的显著值。Achanta 等人[13]从频率域角度出发，首次提出了一种基于全局对比的显著区域检测的方法。该方法将经过高斯低通滤波图像中的每个像素值和整幅图像的平均像素值之间的欧几里得距离作为该点的显著值。该方法非常简单，时间消耗非常低，且实验结果在查准率-差全率方面的效果也堪称优良。该方法使得显著区域检测向实用化的方向更前进了一步。然而Achanta 等人提出的方法[13]在以下两种情况下会失效：
（1）显著区域的颜色占图像中的大部分，通过方法[11]计算后，背景会具有更高的显著值；
（2）背景中含有少量突出的颜色，这样背景中的这部分颜色的显著值也会非常高。第1期景慧昀，等：显著区域检测算法综述智能计算机与应用第4卷
针对以上缺陷，作者又在文章[18]中将此方法完成了进一步的改进。作者发现检测显著区域边缘和检测显著区域中心所需要的图像频段是不同的，由此而依据像素点越在图像中心越可能接近区域中心这样一个假设，来调整均值滤波的带宽，使得位于显著区域不同位置的像素点则有不同的均值滤波带宽。而且，即将经过滤波后的图像中每个像素值和该像素所在的对称子窗口内的像素平均值的欧几里得空间距离作为该点的显著值。经过这样的调整，算法的时间复杂度有所提高，但是实验结果性能却有较大提升。
Cheng等人在文章[15]中提出了两种简单快速且更为准确的显著区域检测方法。第一种方法只采用颜色的全局对比，作者将每个像素点和图像中其它所有像素的Lab颜色向量的欧几里得距离之和的1 / N（N为该图的像素点个数）作为该点的显著值。为了更快速地开展计算，作者对图像中的颜色进行了量化，以颜色为单位计算每种颜色和图像中其它所有颜色的欧几里得距离。第一种方法中只考虑了颜色的全局对比，并未考虑空间位置关系，使得和显著区域颜色接近的背景区域的显著值也较高。作者在加入空间位置关系后又一次提出了方法二：首先对图像进行分割，获得一定数量的子区域。基于子区域，将子区域之间的空间位置关系作为权值计算该子区域与图像其它所有子区域之间的相似度之和。方法2比方法1的时间复杂度略高（主要是由于引入了图像分割操作，该操作比较耗时），但是实验结果得到了较大提高。通过仿真验证，Cheng等人[15]提出的方法简单高效。 　　He等人[17]在Cheng的研究基础上，提出了结合全局对比和颜色空间分布的显著区域检测方法。作者指出颜色的空间分布越紧凑，该类颜色就应具有更高的显著性，反之亦然。该方法将每类颜色所属像素空间位置的方差作为衡量颜色空间分布的指标，生成颜色空间显著图。其后将颜色空间显著图和直方图对比度显著图或区域对比度显著图进行叠加得到最终的显著图。Perazzi等人[16]也提出了一个基于对比度和空间分布的显著区域检测方法。
上述这些基于全局对比的显著区域检测方法可以在一定程度上消减“不一致突出显著区域”问题。但是当显著区域非常大或者图像背景非常复杂时，这些基于全局对比的方法就趋向于突出背景区域而不是显著区域了。因而该问题可以称之为“突出图像背景”问题。
2显著区域检测算法测试
本节使用Achanta等人[13]提出的公开可用的测试图像库来评价现有典型的显著区域检测算法的性能。该测试图像库包含了1 000幅自然图像以及与其相对应标识显著区域的二值基准图像，并将查准率-查全率曲线作为衡量显著区域检测算法性能的评价指标。
图1显示了近期6个性能最先进的显著区域检测方法（MZ[11]、 LC[14]、 FT[13]、 HC[15]、 RC[15]、 SF[16]）在Achanta数据集上的评测结果。这些方法中，对于FT、HC、RC和SF，本节使用作者的原始的实现程序来生成对应的显著图。而对于MZ和LC方法，本节直接使用Ma等人[11]和Cheng等人[15]所提供的显著图。由图1可以看出SF在Achanta等人[13]提供的测试集上取得了最好的检测性能。

3结论与展望
本文对现有的显著区域检测方法进行概述。现有的显著区域检测方法是利用局部邻域或者整幅图像作为对比区域来计算显著性的。从本质上而言，现有方法使用的并不恰当的对比区域导致了其相应具有的“不一致突出显著区域”和“突出图像背景”两个问题。在进行对比度计算之前，首先实现对比区域预估计的显著区域检测方法将成为下一步的发展趋势。
　　参考文献：
　　[1]ITTI L， KOCH C， NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998， 20（11）：1254–1259.
　　[2]MURRAY N， VANRELL M， OTAZU X， et al. Saliency estimation using a non-parametric low-level vision model[C] // IEEE Conference on Computer Vision and Pattern Recognition. 2011：433–440.
　　[3]HOU X， ZHANG L. Saliency detection： A spectral residual approach[C] // IEEE Conference on Computer Vision and Pattern Recognition. 2007：1–8.
　　[4]BAN S， JANG Y， LEE M. A？ective saliency map considering psychological distance[J]. Neurocomputing， 2011， 74（11）：1916–1925.
　　[5]LIU T， SUN J， ZHENG N， et al. Learning to detect a salient object[C] // IEEE Conference on Computer Vision and Pattern Recognition. 2007：1–8.
　　[6]LIU T， YUAN Z， SUN J， et al. Learning to detect a salient object[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence 33 （2） （2011） 353–367. ， 2011， 33（2）：353–367.
　　[7]KO B C， NAM J Y. Object-of-interest image segmentation based on human attention and semantic region clustering[J]. Journal of Optical Society of America A， 2006， 23（10）：2462–2470.
　　[8]RUTISHAUSER U， WALTHER D， KOCH C， et al. Is bottom-up attention useful for object recognition？[C] // IEEE Conference on Computer Vision and Pattern Recognition， 2004：30–37.
　　[9]ZHANG G X， CHENG M M， HU S M， et al. A shape-preserving approach to image resizing[C] // Computer Graphics Forum， 2009：1897–1906.
　　[10]EINHAS？ER W， KO^ENIG P. Does luminance-contrast contribute to a saliency map for overt visual attention？[J]. European Journal of Neuroscience， 2003， 17 （5）：1089–1097. 　　[11]Y. Ma， H. Zhang， Contrast-based image attention analysis by using fuzzy growing[C] // ACM International Conference on Multimedia， 2003：374–381.
　　[12]KLEIN D， FRINTROP S. Center-surround divergence of feature statistics for salient object detection[C] // IEEE International Conference on Computer Vision， 2011：2214–2219.
　　[13]ACHANTA R， HEMAMI S， ESTRADA F， et al. Frequency-tuned salient region detection[C] // IEEE Conference on Computer Vision and Pattern Recognition， 2009：1597–1604.
　　[14]ZHAI Y， SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C] // ACM International Conference on Multimedia， 2006：815–824.
　　[15]CHENG M， ZHANG G， MITRA N， et al. Global contrast based salient region detection[C] // IEEE Conference on Computer Vision and Pattern Recognition， 2011：409–416.
　　[16]PERAZZI F， KRAHENBUHL P， PRITCH Y， et al. Saliency ？lters： Contrast based ？ltering for salient region detection [C] // IEEE Conference on Computer Vision and Pattern Recognition， 2012：733–740.
　　[17]HE X， JING H， HAN Q， et al. Salient region detection combining spatial distribution and global contrast[J]. Optical Engineering， 2012， 51：047007.
　　[18]ACHANTA R， SUSSTRUNK S. Saliency detection using maximum symmetric surround[C] // IEEE International Conference on Image Processing （ICIP）. 2010：2653–2656.

转载请注明来源。原文地址：http://www.xzbu.com/8/view-4883143.htm