CS131学习笔记（lecture7）

本文主要是介绍CS131学习笔记（lecture7），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

讲义地址：http://vision.stanford.edu/teaching/cs131_fall1718/files/07_DoG_SIFT.pdf
上节说到，Harris检测器对于尺度变换下的关键点检测效果不理想，所以本节将关注一些在尺度变换下依然可以有效检测的方法。

尺度不变检测

从直觉上，我们在进行不同尺度下的特征检测时，需要选取范围不同的窗函数（以下以圆圈为例），即：对比例尺较小的图像选取范围较小的窗函数；对比例尺较大的图像选取范围更大的窗函数。
这里写图片描述
那么具体如何选定这些窗函数的范围呢？我们可以把每一个像素点周围的点的像素值作为范围（如半径）的函数，选取一个特征比较明显的点（如峰值），选取所对应的自变量就能在若干幅图中【独立】地确定窗函数的范围。当然了，这种“独立”也对图像的普适性作出了一定的牺牲。图像的像素函数需要满足：有且仅有一个峰值明显的点。这样才不会误导算法作出错误的选择。
这里写图片描述

以上思路在数学上表示为一个kernel函数和图像函数的卷积。
在这里插入图片描述
关于这个kernel的形式，一种是一个高斯拉普拉斯算子（Laplace of Gaussian，LoG）¹： $L=\sigma^2(G_{xx}(x,y,\sigma)+G_{yy}(x,y,\sigma)))$

其数学原理是：对于图像 $f$ ，首先进行高斯平滑处理滤去噪点： $G(x,y,\sigma)*f(x,y)$ 然后对上式求得微分，进行边缘检测： $\dfrac{d}{dx}(G*f)=\dfrac{dG}{dx}*f$ 其中，二阶形式的微分 $\dfrac{dG}{dx}$ 即是拉普拉斯算子。
该算法相当有效，但是也要求了更高的计算复杂度。所以可以用一个高斯差分算子(Difference of Gaussians, DoG)²来近似LoG滤波器： $DoG=G(x,y,k\sigma)-G(x,y,\sigma )$

DoG与HoG
本节中， $G(x,y,\sigma)$ 表示均值为1的高斯函数。
基于DoG算子，可以采用SIFT算法进行特征匹配。

高斯金字塔（octave）

DoG中常对一幅图像分别以 $\sigma$ , $2\sigma$ , …, $k\sigma$ 做出 $k$ 个卷积结果，构成金字塔，然后对金字塔的不同层进行差分，即可获得差分金字塔。从而得到稳定的特征。差分金字塔的每一层都可以看做一个带通滤波器的响应（特定分辨率的图像减去一个模糊的低频图像），所以各层金字塔分别表征了图像在不同频率下的响应。可以在全图范围内根据DoG选取相应的兴趣点和窗函数范围。
DoG1

DoG2

尺度不变特征变换（Scale Invirant Feature Transform, SIFT)

检测问题主要分为寻找关键点和匹配问题。前面我们都是使用Harris角检测器寻找角作为关键点，上面介绍了基于DoG的尺度不变检测算法，得到了一些keypoint和相应的独立的scaling范围。SIFT中的关键点匹配方法则是基于梯度方向直方图的。
算法：

对于每一个keypoint，计算scaling范围中各点处的梯度，并减去待匹配keypoint的rotation角度，从而实现旋转不变。
将相应的scaling范围划分成4*4的方格，对每个方格中的像素点统计梯度并近似到8个方向，reshape成为128维的向量。
对于所有keypoints得到的向量，用欧氏距离进行匹配即可。

这里写图片描述
一些讨论：
由于以上过程是基于梯度的，所以整体的光照增强和减弱不影响匹配效果。
对比度会影响梯度的变化，此情况下要进行归一化处理。