In defence of the 8-point algorithm（八点算法的归一化（规则化）详解）基础矩阵

In defence of the 8-point algorithm
论文原文大家可以去网上自己下载，很好找的

在原论文中提出了归一化（初始化）输入参数，再进行八点法能够得到较好的匹配效果，算出修正的F矩阵。但是原文没有给出代码以及实现方法，这里本博客特地讨论一下这个问题。
本文主要解决的问题是图像坐标系的选择对八点法的影响。
整体影响的分析步骤：
①原图像坐标系设为u，转换成另外的坐标系变为u*，u*=Tu，T为转换矩阵。
②另一幅图的原图坐标系设为v，转换成其他坐标系变为v*，v*=T’v，T’为转换矩阵。
③原两幅图像的对应关系为$v^{\text{T}}Fu=0$，转换后现对应关系为${v^{\ast }}^{\text{T}}{\text{T}}^{\text{-’T}}F{\text{T}}^{-1}{u}^{\ast }=0$,因此当我们的求解图像坐标由$u,v\text{变为}{\text{u}}^{\ast }\text{,}{\text{v}}^{\ast }$ 时，我们的$F$变成了${\text{T}}^{\text{-’T}}F{\text{T}}^{-1}$。需要转换回来时，$F\text{=}{\text{T}}^{{}^{\prime }\text{ T}}\left({\text{T}}^{\text{-’T}}F{\text{T}}^{-1}\right)\text{T=}{\text{T}}^{{}^{\prime }\text{ T}}{F}^{\ast }\text{T}$

写到这里对基础矩阵F有了解的应该不会太困惑，对F不了解的可能有点费解，这里先说明一下基础矩阵的定义。
F的定义式为$v^{\text{T}}Fu=0$，看下面的文章，你就会对基础矩阵有所了解了。
https://blog.csdn.net/kokerf/article/details/72191054
基础矩阵和内参K以及外参RT有关，表示一种映射关系，映射：u坐标系下的图像平面plane1的一个点point1，对应于v坐标系下的图像平面plane2的一条直线，且对应point2在这条直线上。

本文做的规则化就是先将两个图转换到统一坐标系统求出$F^{\ast }$，然后再转换回$F$。

一、规则化

在采集图片时，有些图片数据以左上角坐标为原点，一部分以视野中央为原点。这不同的变化将会导致求得的基础矩阵不同，因此需要提前对输入数据进行规则化。
1.进行转换，使得原点为质心。
2.进行缩放，使得所有点到原点的平均距离为$\sqrt{2}$
3.两幅图都应用变换。

①求取所有点的x和y的平均值

 n=size(data1,1);  cx1=sum(data1(:,1)')/n;%x1的平均值cy1=sum(data1(:,2)')/n;

②所有点的坐标值减去平均值

 dx1=data1(:,1)'-cx1;%x1减去x1的平均值dy1=data1(:,2)'-cy1;

③求各点到所有点的平均值的平均欧氏距离

 d1=sum((dx1.^2+dy1.^2).^(1/2))/n;  

④将平均距离缩放为$\sqrt{2}$

 X(1:n,1)=(sqrt(2)./d1.* dx1)';Y(1:n,1)=(sqrt(2)./d1.*dy1)';

二、使用坐标系变换后的数据进行八点法计算基础矩阵F

这方面的讲解比较好的博文为
https://blog.csdn.net/kokerf/article/details/72630863
①构建A矩阵

此处为已经规则化的data1和data2

[m,n]=size(data1);
dat=ones(m,n);
A=[data1(:,1).*data2(:,1) data1(:,1).*data2(:,2) data1(:,1) data1(:,2).*data2(:,1) data1(:,2).*data2(:,2) data1(:,2) data2(:,1) data2(:,2) dat];

②奇异分解，改最小奇异值为0

[U D V] = svd(A);
F=reshape(V(:,9), 3, 3)';
% make rank 2 
[U D V] = svd(F);
F=U*diag([D(1,1) D(2,2) 0])*V';

这里也贴出另一种方法供选用，eig求特征向量和特征值

[V,D]=eig(U'*U);     
[minim,ind]=min(sum(D));
f=V(:,ind);
F=[f(1) f(2) f(3); f(4) f(5) f(6); f(7) f(8) f(9)];

三、去规则化

①找到u*=Tu，v*=T’v的T和T’

T1=[sqrt(2)/d1 0 -(sqrt(2)/d1*cx1); 0 sqrt(2)/d1 -(sqrt(2)/d1*cy1); 0 0 1];
T2=[sqrt(2)/d2 0 -(sqrt(2)/d2*cx2); 0 sqrt(2)/d2 -(sqrt(2)/d2*cy2); 0 0 1];

②去规则化

F = T1'*F*T2;