增量式sfm复现实践——成果展示、易错问题总结及体会

  理论学习+编程实战，三个月的时间，算是把增量式sfm（在摄影测量领域也叫空三）给复现了出来。先上成果图，然后简要说一些复现sfm过程中需要注意的点，最后谈谈自己的心得体会。（关于增量式sfm的详细介绍，参见这里）

1 成果展示

1.1 数据1

1.2 数据2

 
 
  照片拍摄时，无人机是按图像编号顺序拍摄的，两组数据恢复出的位姿与gps给出的位姿数据吻合。所以从最终重建出来的稀疏点云和位姿数据来看，整个增量式sfm是没有问题的。刚开始遇到了很多错误，导致重建出来的点云是一团乱麻，直到最终看到这个结果的那一刻，感觉真是不言而喻的开心。一大工作总算告一段落了。

2 增量式sfm需要注意的一些问题

1. 分辨清楚相机矩阵P中的R和t是从相机坐标系到世界坐标系还是从世界坐标系到相机坐标系的变换，因为二者的变换是不一样的，这在triangulation、pnp和重投影过程中容易出错。如果从世界坐标系到相机坐标系的变换公式为p=R(P-t)，则从相机坐标系变换到世界坐标系的公式为P=R^Tp+t。其中p为相机坐标系中某点的坐标，P为世界坐标系中该点的坐标，R和t是世界坐标系下该相机的位姿（外参数），这里t即为相机中心在世界坐标系下的坐标。
2. triangulation和pnp中使用的二维点坐标一般是归一化平面上的坐标，不是图像的像素坐标。虽然二者都可以写成（x, y）的形式，但是归一化坐标其实是一个z值为1的三维坐标，即（x, y, 1），只是计算时候把z值直接省略了。设像素平面坐标点p(x,y)，归一化平面坐标点p’(x’,y’)，则像素平面坐标与归一化平面坐标的转换关系为：x=f_xx’+c_x，y=f_yy’+c_y。
3. ba的时候需要固定一个相机的位姿，把它设为constant，一般选取定义世界坐标系的那个相机。
4. 在不知道相机内参的情况下，初始内参可以设置为：f_x=f_y=c_x=w/2，c_y=h/2。其中w为图像宽度（单位：像素），h为图像高度。
5. 初始的估计值都是不准确的，只有在经过BA后才会慢慢变准，且越往后生成的三维点以及估计出的相机位姿都会越准（小小调侃一下，ba真是一个神奇的东西）。所以在还没有ba的时候，如果你发现triangulation出来的三维点以及pnp估计的相机位姿不正确的话，那不一定说明你哪个地方写的不对，可能仅仅只是因为你还没有ba（所以如果初始的时候发现结果是一团乱麻也不要慌，因为我也是。当然，如果三维点真的太奇怪了，那可能真的是因为你哪里写错了）。
6. 增量式sfm实现过程中会需要很多的变量参数，它们之间的关系十分复杂，所以在实现过程中，需要好好考虑一下数据结构的设计，不然会显得十分混乱，且后续的推进举步维艰。
7. 顺带提一下，要通过opencv用图像颜色给重建出来的三维点赋色的时候，其颜色排序不是RGB，而是BGR（我刚开始因为不知道直接认为是RGB排序，所以赋的颜色就不对，不过现在已经改过来了）。
8. 如果无人机有pos信息，则它主要有三个作用：位置信息可以辅助搜索最佳匹配图像，可以用来确定重建的尺度，姿态信息可以作为ba优化时的约束条件。

3 心得体会

  从九月份开学确定方向以后，到现在十二月份了，算下来整整三个月。三个月的时间，一堆关于三维重建的术语（相机内方位元素K，外方位元素R和t，各种坐标系、投影模型，本质矩阵E、基础矩阵F、对极几何、李群李代数、光束法平差BA…），从几乎完全不懂，到现在多少也算说得出点自我认知（还没法说达到精通的地步，这需要长久的学习实践与积累）。从最初一个多月的书本理论知识学习（《视觉SLAM十四讲》和《计算机视觉中的多视几何》，不得不说，虽然反复看了有两三遍，也算做了笔记，但是还是一知半解，毕竟内容有点晦涩，只能说遇到问题了能知道是在哪就行了），到后面自己手动搭建一个增量式SfM框架，一路上走来并不容易。有因为自己对理论不甚理解而犯的错误、有代码编写过程中的错误、有数据结构组织的问题等等。好在有大师兄一路上的指点，使我规避了很多坑，也能更快速地解决很多困难（如果没有人带领入门自己摸索的话，还是有点难的）。
  也许因为我还是研一吧，然后还有一个不会push我的大老板，所以整体上来说我没有什么压力，因此能有条不紊地把整个流程给复现下来。复现的过程中我收获了很多，感觉自己的代码能力也上升了一个档次（数据结构的设计、类参数的传递、函数库的调用等等）。