本文主要是介绍Unsupervised Image Matching based on Manifold Alignment（笔记），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
这是一篇关于无监督流形对齐方法的论文，这里从论文的第三部分开始说明文章的主要算法步骤，前两部分introduction和related work省略。
1.UNSUPERVISED IMAGE MATCHING（原文第三节）
这一节给出了估计两个图像数据集之间对应关系的方法。
给定两个图像数据集, 每幅图像的像素点构成一个向量(就是把一幅图像拉成一列作为一个样本)。
用S和T表示两个流形，S = {si | i = 1,... , m}， T = {ti | i = 1,..., n}， S和T的样本维数和个数都可以不同。对齐的目标是最小化源流形和目标流形的距离，同时保持流形的局部结构。一旦获得了流形与流形之间的最小距离，就可以基于最小对应点在嵌入空间中找到最接近的对应点。
在本文的流形对齐框架中，局部特征匹配引入基于流形固有结构的相似性。参数化的距离曲线用来描述一个样本点与其他样本点之间的联系。利用曲线距离度量两个流形见的局部结构的相似性。曲线距离最小的即为对应点。具体在sction 4中介绍。
在section 5中，我们计算理性对齐作为扩展的放射变换说明局部结构的不同。 放射变换被分配到灭个采样点而不是整个空间，表示为（p+1）x q的矩阵 
， p和q 分别表示S和T的维度。
， p和q 分别表示S和T的维度。
给出放射变换矩阵后，源流形和目标流形被转换到一个共同的空间中。 最近的点对（si, tj）被认为是匹配图像。 在此框架中，图像集合的对应归结为流形间固有结构的相似。
2. VALID LOCAL FEATURE MATCHING（原文第四节）
在无监督的图像匹配中，没有对应图像的先验信息。 流形上基于相似结构(structure similarites)的有效局部匹配估计(estimate valid local matchings)是必不可少的 。 在Wang Chang的 (Manifold Alignment without Correspondences) 利用k近邻距离矩阵描述局部结构，在特征匹配的过程中要考虑k! 次近邻的排列方式，其时间复杂度O(k!), 在本文中，利用参数化的曲线表示有效特征匹配。 特征匹配基于这样的假设：对应特征与流形上的其他点有相似的联系。 一个点与其他流形的联系用一个距离向量表示， 进一步转化成连续的参数曲线。 参数曲线相似的点对属于局部匹配特征。
定义距离矩阵： 
， 
， 
是S上第i个点到它的第j个近邻的距离。 
， h是流形上点的索引函数。 
是目标流形T中的距离表示。源流形和目标流形的近邻个数分别表示为ks 和kt， 
矩阵表示样本点到它的ks个近邻的距离，给定一个合理的近邻，流形可以从距离矩阵中被重新构造。如果我们选择的近邻个数是m-1(m为S流形上样本点的个数)，则向量 
表示第i个点和流形上所有其它点之间的距离。 对距离值排序后，其每个样本对应的距离值是单调递增的。
， ， 是S上第i个点到它的第j个近邻的距离。 ， h是流形上点的索引函数。 是目标流形T中的距离表示。源流形和目标流形的近邻个数分别表示为ks 和kt， 矩阵表示样本点到它的ks个近邻的距离，给定一个合理的近邻，流形可以从距离矩阵中被重新构造。如果我们选择的近邻个数是m-1(m为S流形上样本点的个数)，则向量 表示第i个点和流形上所有其它点之间的距离。 对距离值排序后，其每个样本对应的距离值是单调递增的。
在计算距离之前，先要进行尺度归一化。
- 首先，对嵌入空间的点进行中心化处理
- 第二，the largest component extension in the embedding space is computed， 选择目标流形作为参考
归一化完成后两个流形扩展到同一个尺度。在归一化后的空间中，距离矩阵可以作为局部特征的相似性度量。
距离矩阵可以是不同维的，即 
为了测量局部流形之间的相似度，引入参数化的曲线表示。利用B样条差值(B-spline)将离散的距离向量 
拟合到曲线 
。将会的到一组表示源流形和目标流形的参数化曲线。如图：
为了测量局部流形之间的相似度，引入参数化的曲线表示。利用B样条差值(B-spline)将离散的距离向量 拟合到曲线 。将会的到一组表示源流形和目标流形的参数化曲线。如图：
。这个距离矩阵可以转换为 
和 
两个流形间的曲线距离 
依据折线覆盖的区域和梯度计算，计算公式如下：
其中，
是两个曲线覆盖区域之差。 
和 
是两个曲线的梯度，常量 
用来平衡这两项。在实验中设为0.1。近邻个数统一选择为k, 两个流形之间的距离矩阵表示为： 
表示局部流形结构的相似性。矩阵中的元素 表示S流形上第i个点和T流形上第j个点的局部结构的相似性。给定矩阵 
后，局部特征匹配集合C就可以确定了。
表示局部流形结构的相似性。矩阵中的元素 表示S流形上第i个点和T流形上第j个点的局部结构的相似性。给定矩阵 后，局部特征匹配集合C就可以确定了。
的可视化如图所示： 
在实验中，接近10%的点对被选作局部匹配特征，只有当 ，第i行的最小值小于 
（si, ti）值为局部有效匹配， 不用手动选择，我们保持10%的matching pairs,值设置为 中最小的前10%的值。
，第i行的最小值小于 （si, ti）值为局部有效匹配， 不用手动选择，我们保持10%的matching pairs,值设置为 中最小的前10%的值。
3. NON-RIGID MANIFOLD ALIGNMENT（原文第五节）
一旦在局部特征匹配过程中获得两个流形间对应点对的集合，稠密的对应关系就可以通过不严格(non-rigid)对齐技术来估计。 目标是找到一个流形S与流形T之间的映射函数： 
， 这个函数不需要时双射的，源空间中的一个样本点在目标空间中可以有多个对应点。 这个对齐通过一个非线性的优化框架解决，目标函数 
保持距离最小化， 结构保持以及局部特征对应。对S流形上的样本点si分配放射转换矩阵 。
， 这个函数不需要时双射的，源空间中的一个样本点在目标空间中可以有多个对应点。 这个对齐通过一个非线性的优化框架解决，目标函数 保持距离最小化， 结构保持以及局部特征对应。对S流形上的样本点si分配放射转换矩阵 。
对于不在C中的点，用距离项 
测量联合嵌入空间中的内部流形距离
测量联合嵌入空间中的内部流形距离
函数dist(.) 测量转换样本点 
和目标流形之间的距离。 点到流形的距离定义为点到点的最短距离。 
和目标流形之间的距离。 点到流形的距离定义为点到点的最短距离。
Ed is imposed to all points in S except those in the local matching set C, which are addressed in the feature term.
用于在转换过程中约束局部结构， 
Frobenius范式测量放射转换矩阵之间的差异
对于C（local feature matching set）中的点对：
wij 是用热核函数计算的权值 
在热核函数中r = 0.03, 可以看出，si 和 ti 结构月相似，权值越大。
在热核函数中r = 0.03, 可以看出，si 和 ti 结构月相似，权值越大。
目标函数式一个关于权值的几个最小化问题的组合，包括流形距离最小化，结构保持和特征对应。
这里， 
Dense Matching
在对齐后的联合嵌入空间中最近的点对看做匹配图像。目标流形上对si的匹配点满足；
其中 
，对齐后的距离矩阵 
，对齐后的距离矩阵
这里： 
具体的算法步骤：
文献： Yuru Pei, Fengchun Huang, Fuhao Shi, Hongbin Zha. Unsupervised Image Matching based on Manifold Alignment . Pattern Analysis and Machine Intelligence,IEEE Transactions on, 34(8):1658 –1664, Aug.2012.
这篇关于Unsupervised Image Matching based on Manifold Alignment（笔记）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
