深度学习tracking学习笔记(2):图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention)

本文主要是介绍深度学习tracking学习笔记(2):图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

reference:
http://blog.csdn.net/anshan1984/article/details/8657176
http://blog.csdn.net/huangbo10/article/details/19788547?utm_source=tuicool&utm_medium=referral

关于显著度的研究是从生物研究发展而来,早期比较重要的工作是C.Koch与S.Ullman做的,时间可以追溯到1985年。
显著度的获取方式主要有两种:自上而下,从高层语义入手,其实目标检测等等也可以归入这一类中;更普遍的是自下而上,从底层特征入手。直到现在,第二种自下而上的方法仍是主流
从CV角度研究显著度问题从1998年开始,开创者是Itti。其最出名的文章是A model of saliency based visual attention for rapid scene analysis,发表在1998年的PAMI上。

这篇文章基本奠定了显著度研究的基本思路,即: 特征提取—>归一化—>特征综合/显著度计算—>显著性区域划分/兴趣点标定
在最初的文章中主要采取启发式的方法提取特征,依据生物学研究,主要提取亮度、色彩、旋转一致性三种特征,得到三种feature map。随后这些feature map被归一化以便综合,综合方法是简单的相加。从综合后的saliency map上提取前N个峰值即为寻求的interest point。
随后的很多研究都采取了这样的框架,针对特征提取/特征综合等等不同的阶段分别进行优化。
例如这篇:J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural Information Processing Systems, 19:545-552, 2006.
假定仍采用原先的特征提取方式,但是 综合阶段使用的不是线性组合而是马尔科夫随机场 ,获得了比Itti更好的效果。
另两篇Xiaodi Hou, Jonathan Harel and Christof Koch: Image Signature: Highlighting Sparse Salient Regions (PAMI 2012)
和R. Achanta, S. Hemami ,F. Estrada,& S. Süsstrunk, Frequency-tuned salient region detection. IEEE International Conference on Computer Vision and Pattern Recognition, 2009, pp.1597-1604.
则是定义了一种新的底层特征提取方法,计算saliency的过程仍采用马尔科夫随机场


采用条件随机场的比较著名的一篇文章应该是Tie Liu, Jian Sun, Nan-Ning Zheng, Xiaoou Tang and Heung-Yeung Shum. Learning to Detect A Salient Object. In Proc. IEEE Cont. on Computer Vision and pattern Recognition (CVPR), 2007.
引用665次!作者建立了一个10k级别的数据库(手工标注方框),并提出了系统的评估方法。


2007年,侯晓迪另辟蹊径,提出了一种完全不同的思路,称为频域残差法。这种方法 不考察前景的特点,反而去研究背景都具有那些特点 ,从图片中提取跟这些特点不符的就是interest point。
其考察背景特征的方法是计算图片的log频谱,发现对于自然图片,其曲线应该与1/f成正比。因此只需从待考察频谱中减去基准频谱,剩下的就是需要关注的部分。
R. Achanta, S. Hemami ,F. Estrada,& S. Süsstrunk, Frequency-tuned salient region detection. IEEE International Conference on Computer Vision and Pattern Recognition, 2009, pp.1597-1604.


在频域残差法的基础上,复旦大学有人提出了利用 相位谱 的方法。相位谱就是仅仅保留频谱分量的符号而不保存其值,这样可以获得更高的计算效率
在获得每个点的相位谱之后,两点之间的距离简单地用hamming距离表示,随后采用条件随机场进行优化。其文章发表于2008年CVPR。
Chenlei Guo, Qi Ma, Liming Zhang: Spatio-temporal Saliency detection using phase spectrum of quaternion fourier transform. CVPR 2008
同样采用相位谱的还有M. Holtzman-Gazit, L. Zelnik-Manor and I.Yavne, " Salient Edges: A MultiScale Approach", ECCV 2010 Workshop on Vision for Cognitive Tasks.
不同点是,他们还对图片提取了多种分辨率。其思想是, 无用的背景在多种分辨率下应该是相似的,而有用信息则只出现在某几层中。


同一拨人还做了大量细致的工作。S. Goferman, L. Zelnik-Manor, and A. Tal. Context-Aware Saliency Detection. CVPR 2010.
这篇文章中,他们提出应当同时考虑局部信息和全局信息,例如 注意力应该集中在某些特定区域而不是分散,距离视觉焦点更近的点容易被观察到 等等,效果拔群。


采用底层特征和高层(全局)特征结合方法的还有Tilke Judd, Krista Ehinger, Frédo Durand, Antonio Torralba.Learning to predict where people look,International Conference on Computer Vision, ICCV 2009.
这篇文章中,他们提取了三个层次的特征:一般的底层特征,自然场景中的地平线,人脸检测(采用V-J算法)。


以上是比较主流的做法。其余还有一些人,例如Xiaohui Shen and Ying Wu, "A Unified Approach to Salient Object Detection via Low Rank Matrix Recovery", in IEEE Conference on Computer Vision and Pattern Recognition (CVPR)(Oral), 2012.希望通过寻找图像在特征空间中的有效表示(可以将图片信息简洁的分为无用部分+有用部分)来解决问题。
Chuan Yang, Lihe Zhang, Huchuan Lu, Minghsuan Yang, Saliency Detection via Graph-Based Manifold Ranking, CVPR 2013.则希望通过流形嵌入解决问题,用到了大量的数学推导.


总结:从近几年的趋势来看,纯数学的 频域方法似乎没什么潜力 。人们更多的还是 关注有效的特征提取以及高层特征和底层特征的结合
saliency的问题具有特殊性,因为我们容易给出的ground truth是0或1,而不是0-1之间的连续值。这就让神经网络在这里难以训练,相反有的借助SVM的方法(Tilke Judd, Krista Ehinger, Frédo Durand, Antonio Torralba.Learning to predict where people look,International Conference on Computer Vision, ICCV 2009.)效果不错。


学习算法在这里发挥的作用似乎不是很大,可以从高层起到一些辅助作用(例如特定的类别和目标检测),但不本质。

当前更新日期:2013.08.04


1. 早期C. Koch与S. Ullman的研究工作.

他们提出了非常有影响力的生物启发模型。

C. Koch and S. Ullman . Shifts in selective visual attention: Towards the underlying neural circuitry. Human Neurobiology, 4(4):219-227, 1985.

C. Koch and T. Poggio. Predicting the Visual World: Silence is Golden. Nature Neuroscience, 2(1):9–10, 1999.

C.Koch是加州理工大学Koch Lab的教授,后文的侯晓迪师从C. Koch进行博士研究。


2. 南加州大学iLab实验室Itti教授及其学生Siagian等的研究工作.

见http://ilab.usc.edu/publications/. 主页提供iLab Neuromorphic Vision C++ Toolkit。Christian Siagian博士期间的主要工作是生物学启发的机器人视觉定位研究(Biologically Inspired Mobile Robot Vision Localization).

L. Itti, C. Koch, & E. Niebur .A model of saliency based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259, 1998.

L. Itti and C. Koch. Computational Modelling of Visual Attention. Nature Reviews Neuroscience, 2(3):194–203, 2001.

L. Itti, & P. Baldi . Bayesian surprise attracts human attention. Advances in Neural Information Processing Systems, 19:547-554, 2005.

C. Siagian, L. Itti, Comparison of gist models in rapid scene categorization tasks, In: Proc. Vision Science Society Annual Meeting (VSS08), May 2008.


3. Caltech 的J. Harel研究工作.

Koch Lab的J. Harel在2006年提出基于图的视觉显著性检测. 有Matlab实现。http://www.klab.caltech.edu/~harel/share/gbvs/

J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural Information Processing Systems, 19:545-552, 2006.


4. Caltech 侯晓迪博士的研究工作.

他是上交硕士,后去加州理工大学读博。他提出的频域残差法(Spectral Residual)让人认识到数学的美。

X,Hou &L,Zhang. Saliency Detection: A spectral residual approach. IEEE Conference on Computer Vision and Pattern Recognition, 2007, pp.1-8.

Xiaodi Hou, Jonathan Harel and Christof Koch: Image Signature: Highlighting Sparse Salient Regions (PAMI 2012)

 同时推荐他出演的电影“The PHD Movie”:

http://movie.douban.com/subject/6855109/comments

这里有一个很好的JOKE:

http://bbs.sjtu.edu.cn/bbstcon,board,AI,reid,1203564832.html


5. 复旦大学Chenlei Guo, Liming Zhang的工作.

他们在频域残差法(Spectral Residual)的基础上提出相位谱(Phase Spectrum)方法。

Chenlei Guo, Qi Ma, Liming Zhang: Spatio-temporal Saliency detection using phase spectrum of quaternion fourier transform. CVPR 2008

Chenlei Guo, Liming Zhang: A Novel Multiresolution Spatiotemporal Saliency Detection Model and Its Applications in Image and Video Compression. IEEE Transactions on Image Processing 19(1): 185-198 (2010)


6. 瑞士洛桑联邦理工学院EPFL的R. Achanta研究工作.

R. Achanta, F. Estrada, P. Wils, & S. Süsstrunk, Salient region detection and segmentation. International Conference on Computer Vision Systems, 2008, pp.66-75.

R. Achanta and S. Süsstrunk, “Saliency Detection for Content-aware Image Resizing,” in IEEE International Conference on
Image Processing, 2009.

R. Achanta, S. Hemami ,F. Estrada,& S. Süsstrunk, Frequency-tuned salient region detection. IEEE International Conference on Computer Vision and Pattern Recognition, 2009, pp.1597-1604.

R. Achanta and S. Süsstrunk, Saliency Detection using Maximum Symmetric Surround, ICIP, 2010.


7. 西安交通大学TieLiu在微软亚研院的一些工作.

Tie Liu, Jian Sun, Nan-Ning Zheng, Xiaoou Tang and Heung-Yeung Shum. Learning to Detect A Salient Object. In Proc. IEEE Cont. on Computer Vision and pattern Recognition (CVPR), 2007.

Tie Liu, et. al. ,Video Attention: Learning to Detect A Salient Object Sequence, ICPR 2008.

 

8. 瑞典KIT的Boris Schauerte的研究工作.

B. Schauerte, R. Stiefelhagen, "Predicting Human Gaze using Quaternion DCT Image Signature Saliency and Face Detection". In Proc. 12th IEEE Workshop on the Applications of Computer Vision (WACV), 2012. (Best Student Paper Award)

B. Schauerte, R. Stiefelhagen, "Quaternion-based Spectral Saliency Detection for Eye Fixation Prediction". In Proc. 12th European Conference on Computer Vision (ECCV),  2012.


9.  以色列理工大学(The Technion),CGM Lab,L. Zelnik-Manor研究组的工作.

D. Rudoy, D.B Goldman, E. Shechtman and L.Zelnik-Manor, " Learning video saliency from human gaze using candidate selection ",  To appear in CVPR, 2013.

R. Margolin, A. Tal, and L. Zelnik-Manor, " What Makes a Patch Distinct? ",  To appear in CVPR, 2013.

R. Margolin, L. Zelnik-Manor, and A. Tal " SaliencyFor ImageManipulation ",  The Visual Computer, June 2012.

R.Margolin, L. Zelnik-Manor, and A. Tal " SaliencyFor ImageManipulation ",  Computer Graphics International (CGI) 2012.

S. Goferman, L. Zelnik-Manor, and A. Tal " Context-AwareSaliency Detection ", IEEE Trans. on Pattern Analysis and Machine Intelligence(PAMI), 34(10): 1915--1926,Oct. 2012.

M. Holtzman-Gazit, L. Zelnik-Manor and I.Yavne, " Salient Edges: A MultiScale Approach", ECCV 2010 Workshop on Vision for Cognitive Tasks.

S. Goferman, L. Zelnik-Manor, and A. Tal. Context-Aware Saliency Detection. CVPR 2010.


10. 美国西北大学Ying Wu研究组的工作.

Xiaohui Shen and Ying Wu, "A Unified Approach to Salient Object Detection via Low Rank Matrix Recovery", in IEEE Conference on Computer Vision and Pattern Recognition (CVPR)(Oral), 2012.


11. 清华大学程明明(Ming-Ming Cheng)相关工作。

SalientShape: Group Saliency in Image Collections. Ming-Ming Cheng, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. Technical Report TR-120624, GGC Group, Tsinghua University.

Global Contrast based Salient Region Detection. Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. IEEE International Conference on Computer Vision and Pattern Recognition, CVPR2011.


12. MIT Graphics Group, Tilke Judd的研究工作.

Tilke Judd, Understanding and Predicting Where People Look. MIT PhD Thesis of Computer Science, 2011.

Tilke Judd, Frédo Durand, Antonio Torralba, A Benchmark of Computational Models of Saliency to Predict Human Fixations.
currently under review, also available as a 2012 MIT Tech Report.

Tilke Judd, Frédo Durand, Antonio Torralba, Fixations on Low-Resolution Images,Journal of Vision 2011.

Tilke Judd, Krista Ehinger, Frédo Durand, Antonio Torralba.Learning to predict where people look,International Conference on Computer Vision, ICCV 2009.

Judd提供了一个Saliency Benchmark. 并且总结了相关数据集。

http://people.csail.mit.edu/tjudd/SaliencyBenchmark/index.html


13. 大连理工大学卢湖川(Huchuan Lu)老师研究组的工作。

Yulin Xie, Huchuan Lu, Minghsuan Yang, Bayesian Saliency via Low and Mid Level Cues, IEEE Transaction On Image Processing, 2013.

Chuan Yang, Lihe Zhang, Huchuan Lu, Minghsuan Yang, Saliency Detection via Graph-Based Manifold Ranking, CVPR 2013.


 

自然图像抠图/视频抠像技术发展情况梳理(image matting, alpha matting, video matting)--计算机视觉专题1

http://blog.csdn.net/anshan1984/article/details/8581225

图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention)--计算机视觉专题2
http://blog.csdn.net/anshan1984/article/details/8657176

超像素分割技术发展情况梳理(Superpixel Segmentation)--计算机视觉专题3
http://blog.csdn.net/anshan1984/article/details/8918167


这篇关于深度学习tracking学习笔记(2):图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1050199

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X