HOG与SIFT特征学习

本文主要是介绍HOG与SIFT特征学习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

都点进这个链接了，我就不用再赘述这俩特征是干嘛的了吧。
我就不用再说一遍：他们分别是通过精妙的手工设计的一些方法，来对图像的进行特征提取，将图像中一堆像素转换成具有其内容特征的数字向量，因而可以用来给各种模型（如SVM）进行处理的一些特征。

HOG方向梯度直方图

Histogram of Oriented Gradient，在行人检测领域用的较多，DPM中也用到了HOG特征

主要思想：

在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。

方法

简单的是吧小联通区域cell（细胞单元）各个像素点梯度直方图组合起来
优化的是在更大范围内block(区间) 进行对比度归一化，这样能对光照和阴影有更好的鲁邦性

灰度化
gamma校正法对图像颜色空间进行标准化（归一化），以此调节图像对比度，降低局部阴影和光照的影响，抑制噪声
计算每个像素梯度（大小和方向）捕捉轮廓信息
图像划分成小cells（如6*6）
统计每个cell的梯度直方图（不同梯度的个数），形成每个cell的描述子
将每几个cell组成一个block（如3*3个cell组成一个block）一个block内所有cell的特征描述子串联起来
将所有image内的block的特征描述子串联起来即得到特征向量

1 灰度化

1RGB分量发
2最大值法
3平均值法
4加权平均法
由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像。
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)
灰度化

2 gamma校正，归一化：

目的是调节图像的对比度，降低局部光照和阴影所造成的影响，同时也可以降低噪音的干扰；（当r取1/2时，像素的取值范围就从0_{255变换到0}15.97）
gamma校正
gamma一般取0.5

计算梯度

首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向（水平方向，以向右为正方向）的梯度分量gradscalx，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向（竖直方向，以向上为正方向）的梯度分量gradscaly。然后再用以上公式计算该像素点的梯度大小和方向。
为每个cell计算梯度直方图：
假设采用9个bin的直方图统计6*6的像素。36个像素投影到9个方向，得到cell的方向。大小也都应到9个分支上，得到9维的一个有大小，方向的向量。
cell合成block，块内归一化梯度直方图
进一步对光照、阴影和边缘进行压缩
一个block中cell的特征向量串联。区间有重叠，

参数：
原版的：66个像素为一个cell ，求完梯度平均划分为9个bin
得到一个9维的向量。
每相邻4个单元构成一个block，块内36维向量
用块对样本图像尽心扫描，以一个单元为步长stage，将特征串联
example：64128的图像，1616是一个cell，22组成一个block
每个cell是9维，一个block就是36维，
以8个像素为一个步长stage，水平方向7个窗口，垂直方向15个？？？
一共36715=3780个特征

这里7和15的来源：
x方向（64-28）/8+1 = 7
y方向（128-28）/8 +1 = 15
在这里插入图片描述

优点：

由于是在局部方格，因而对几何和光学形变有不变形（因为这两种变化一般会是在更大的空间领域上才出现）
人体大体上直立时，可以容许游戏为的肢体动作而不影响检测。所以比较适合行人检测。
部分抵消光照影响，对平移，旋转有抑制
缺点：
维度高，速度慢，遮挡问题难以处理，对噪点敏感

SIFT

Scale-invariant feature transform，检测局部特征的算法，算法通过求一幅图中的特征点（interest points,or corner points）及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，获得了良好效果，详细解析如下：
尺度不变性，角度，亮度，拍摄视角不变性

步骤

可以主要分两步：1）特征点检出 keypoint localisation，2）特征点描述 feature description

1.特征点检出

主要是用了DoG，就是把图像做不同程度的高斯模糊blur，平滑的区域或点肯定变化不大，而纹理复杂的比如边缘，点，角之类区域肯定变化很大，这样变化很大的点就是特征点。当然为了找到足够的点，还需要把图像放大缩小几倍(Image Pyramids)来重复这个步骤找特征点。其实DoG并不是Lowe提出的，很久以前就有了，读过SIFT专利的人都知道，SIFT的专利里面也不包括这部分。可代替特征点检出还有很多其他方法如MSER等。

2.特征点描述

就是一个简单版的HOG，即以检出的特征点为中心选16x16的区域作为local patch，这个区域又可以均分为4x4个子区域，每个子区域中各个像素的梯度都可以分到8个bin里面，这样就得到了4x4x8=128维的特征向量。
特征点检出以后还需要一个很重要的步骤就是归一化，计算这个patch的主方向，然后根据这个主方向把patch旋转到特定方向，这样计算的特征就有了方向不变性，也需要根据patch各像素梯度大小把patch缩放到一定的尺度，这样特征就有了尺度不变性。

构建尺度空间

这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。
高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像的尺度空间定义为：
在这里插入图片描述
其中 G(x,y,σ) 是尺度可变高斯函数。
（x，y）是空间坐标，是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。
下图所示不同σ下图像尺度空间：
在这里插入图片描述
同一组中的相邻尺度（由于k的取值关系，肯定是上下层）之间进行寻找
在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的

给特征点赋值一个128维方向参数