本文主要是介绍【图像处理】均值漂移(mean shift)及深度学习超分辨代码中的mean shift,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
均值漂移(mean shift)
均值漂移是一种聚类算法,常用于特征点聚类、图像分割、对象轮廓检验、目标跟踪等。这里简单直观介绍一下这个算法大概是怎么回事。
基本概念
基本概念可以看下面这个图。左面是一堆像素点特征的分布(其实也不用管他是啥,只要当成一堆点就好了),我们可以看到这堆点有的地方密集,有的地方稀疏。把点的密度分布可视化之后就是右边这个图,大概可以理解为点的密度函数三维可视化。这样就可以看到,会存在几个极值点,也就是红色的点。
好,看到这里你其实就已经理解这个算法的一大半了。
这个算法的操作直观来讲就是,你每拿出一个点来,就把它移动到离它最近的一个极值点。(如图白色点所示,白色点是初始位置,这个点最终应该移动到右上角最高的那个红色点)。
也就是在图中任意一个点,它的类别与密度函数中离它最近的一个极大值点相同。
做完的结果大概是这样:
操作过程
讲完基本概念,我们来看如何找到某个点离拿个极大值点最近。操作过程就解释了为什么这个算法叫均值漂移。
- 首先找到一个你要聚类的点,如图红色点所示,我们称作sample pixel。
- 接着你需要一个window width,也就是你需要一个范围值,这个值就是这个算法很重要的一个参数。找到width范围内的所有点,如图蓝色圈所示。
- 接着计算出圈内所有点的均值。均值计算方法可以是直接平均,也可以是加权平均(这个不影响理解)。均值点如图绿色点所示。
- 接着将sample pixel移到绿色点,作为新的sample pixel点,
- 接着以新的点为起始点,重复上述操作,直到sample pixel点和均值点重合或者距离小于某个值,就停止操作,认为这个点归属到了它应该属于的类别。
这是英文版的算法过程,和我讲的意思大概差不多,感兴趣的朋友可以看看。
均值漂移用于图像分割
对于均值漂移,我们需要给定w,也就是上面讲的蓝色圈圈的范围。
参考视频
图片来源于这个视频,讲的很不错。感兴趣的朋友可以去看看。https://www.youtube.com/watch?v=PCNz_zttmtA
深度学习超分辨代码中的mean shift
最近在看RCAN的代码,结果点开就懵逼了,里面来了一个meanshift,了解完meanshift感觉它代码干的也不是这事情啊…
RCAN这部分代码大概长这样。
class MeanShift(nn.Conv2d):def __init__(self, rgb_range, rgb_mean, rgb_std, sign=-1):super(MeanShift, self).__init__(3, 3, kernel_size=1)std = torch.Tensor(rgb_std)self.weight.data = torch.eye(3).view(3, 3, 1, 1) # 第一维为输出通道,第二维为输入通道self.weight.data.div_(std.view(3, 1, 1, 1)) # torch.eye(3).view(3, 3, 1, 1) / std.view(3, 1, 1, 1)self.bias.data = sign * rgb_range * torch.Tensor(rgb_mean)self.bias.data.div_(std) # sign * rgb_range * torch.Tensor(rgb_mean) / std# (w*x+b)/stdself.requires_grad = False
# parameter of DIV2K
rgb_mean = (0.4488, 0.4371, 0.4040)
rgb_std = (1.0, 1.0, 1.0)
sub_mean = MeanShift(255, rgb_mean, rgb_std)
add_mean = MeanShift(255, rgb_mean, rgb_std, sign=1)
解释
这个其实是一个图像预处理过程。这个过程是将数据集中的每个样本都减去数据集的均值。(训练集,测试集肯定不能混进来算)
原因: 我们默认自然图像是一类平稳的数据分布(即数据每一维的统计都服从相同分布),在每个样本上减去数据的统计平均值可以凸显出个体差异。
参考博客: https://www.pythonf.cn/read/149532
指导老师
徐放、周鹏程、肖彦洋
对生物医学图像感兴趣的朋友欢迎了解 中国科学院深圳先进技术研究院脑信息中心。
实验室主页: http://icbi.siat.ac.cn/xu-lab/
这篇关于【图像处理】均值漂移(mean shift)及深度学习超分辨代码中的mean shift的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!