前端：An iterative image registration technique with an application to stereo vision

这篇论文主要记录Lucas 光流法，KLT光流跟踪的基础。图像点定位的方法，即图像的局部匹配，将图像匹配问题，从传统的滑动窗口搜索方法变为一个求解偏移量d的过程

【摘要】 主要讲了图像配准的一种方法–利用图像的空间强度梯度和牛顿迭代法找到好的匹配。此方法更快（仅从较少的匹配中筛选）且适用于旋转、尺度、裁剪等变换。

【简介】 现存的方法代价大且不能处理旋转或者其他变形的情况，提出了一种新的技术–采用空间强度梯度信息找到最佳匹配。这样就可以利用更多图像信息找到两幅图的最佳匹配。这种方法比按固定顺序计算可能的配准位置需要比较的次数更少。此法利用了许多应用中两幅图已经近似配准了，且可以处理任何线性形变。
【配准问题介绍】
给定函数F(x)和G(x)，分别表示各自在两幅图中的像素值，x是个向量。要求一个视差矢量h，使F(x+h)和G(x)的某些距离测度最小，其中x属于区域R。

三种典型的距离度量：

本文将提出一种更通用的图像差度度量方法，L2 norm和归一化相关都是该方法的特例。L1 norm可以看做是L2 norm的一种合理逼近。
【现存技术】
一种最显而易见的图像配准方法就是穷举搜索h的可能值空间，计算其距离。但非常低效。根据上次的h计算其附近可以使函数值下降的h作为下个h值，这样迭代。但可能会陷入局部最优。序贯想相似性检测算法（SSDA）。SSDA通过人为设定一个固定阈值，及早地终止在不匹配位置上的计算，以此减小计算量，达到提高运算速度的目的。选取一个误差准则，设定一个不变阈值。在子图象中随机选取一点，计算它与模板中相应点的绝对误差值， 将每一随机点对的误差累加起来，若累加到第r次时误差超过设定阈值，则停止累加。停止准则主要由这个固定阈值和累加次数r。
一些配准算法采用了一种由粗到细的策略。先用上面的某种方法在低分辨率下找到最佳配准，然后将其作为高分辨率中的可能匹配位置的约束。一些利用金字塔的图像理解系统采用了这种方法。
上面这些方法有些可以互相结合使用。爬山法和穷举搜索只解决了如何找到最佳匹配，SSDA解决了计算差异函数的方法。因此，可以用SSDA和爬山法或者穷举搜索结合，也可以用由粗到细策略。

本文介绍了搜索h空间的顺序。具体讲，先确定一个初始h，再用每一点的空间强度梯度修正当前h，直到达到最优匹配。迭代过程采用的是牛顿迭代法。该配准方法可以和coarse-fine策略结合。
【配准算法】
本节先介绍一种针对一维配准问题的直接方法，再介绍另外一种可以推广到多维的方法。然后介绍怎么将此技术推广到其他类型配准。最后讨论算法应用和性能。

1. 一维问题
我们希望在F(x)和G(x)=F(x+h)之间找到一个水平视差h。

根据对x附近的F(x)进行线性逼近。对于很小的h，

当h足够小，逼近就可以写成等号。后面会介绍通过平滑图像扩大h的范围，这样就可以直接写等号了。
将x一点的情况推广到多点：

当F(x)接近线性时，(1)线性逼近得很好；反之当|F”(x)|很大时则逼近不好。根据这个关系，可以对上式进行改进，再根据公式(4)，可以设计一个计算权重的方法，就是公式(5)。|F”(x)|越小，权重越大。从图2可以看出，当x为两条曲线交叉点时，按(2)算出的h是0，但是因为此时G’(x)和F’(x)的差很大，所以权重很小，这就符合逻辑了。最终的h是公式(6)。

得到h的估计值，就可以将F(x)移动h的距离，重复这一过程得到一系列的牛顿迭代。理想情况下h会收敛到一个最优值。迭代表示为

2. 另一种推导
上面的推导不能直接推广到二维情况，因为二维线形逼近形式不同。另一个原因是(2)中分母可能为0。因此，将(1)改为

求得h

这个除了权重系数为和公式(6)基本相同。当且仅当对任意x,F’(x)=0时，分母为0，而此时h没有定义。
对应的迭代公式

3. 性能
   相比于没有权重的方法，该方法能在更广的范围更快收敛。