本文主要是介绍深度学习三维重建-双目视差三维重建小笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
记录一下深度学习进行双目三维重建看过的网络
持续更新(时不时更新)
数据集:
SceneFlow
KITTI
ETH3D
与三维有关的数据集:
TanksAndTemples
一大堆Github总结的数据集
Github大佬的笔记
-----------------------------------我是分界线------------------------------------
双目三维重建:立体匹配就4个步骤:匹配代价计算,代价聚合,计算视差,视差精化。
传统方法有必要了解,局部、非局部、全局的匹配算法都有必要了解一下,但是我没有全部过一遍,惭愧,很多方法的思路是别的算法突破的入口。
回到正题,这里要主要讲深度学习的双目视差匹配,这里并不是走到终点后的回顾,在写博客的同时在学习,会不断修正博客来整理思路。所以这里只记录双目匹配、视差网络相关的内容。序号也不会是规律的12345,而是会存在1.1/1.11/这样,都是后来插进去的重要内容。
插一个大哥总结的东西
1.0 Siamese Network
Learning a Similarity Metric Discriminatively, with Application to Face
Verification
CSDN:Siamese Network理解(附代码)
知乎:【模型解读】siamese network和triplet network原理与应用
//知乎这篇文章还讲述了triplet网络,但是这个东西在差异检测有用,在这里好像并没有什么价值,知道有这么个东西就好。
这个网络可以用来做:
- 图像验证与匹对
- 目标跟踪
- 排序(估计年龄等)
这个网络似乎很适合处理相对相似的两个场景图像,最开始是用来判断两幅图像的相似性。双目匹配就是一种相似性的密集匹配。
这里先梳理下网络演变的线路:
SceneFlow数据集最早用了FlowNet,然后Dispnet,并且数据集官方有榜单可以看。我选择了PSMNet作为学习目标,但是直接上手PSMNet难度有点大,按照这条路线来看,从简单到复杂。
2.0CVPR2016-A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation
dispnet的前身是Flownet,文章前部分主要提了一些数据集制作的相关问题,这里的网络结构参照了光流的特性。
GC-net遍历视差,每一层视差做了一次特征图层,最终包含视差为0的情况,一共视差最大值+1层特征图,这带来了大量的空间开销。这种算法受图像分辨率限制比较严重,尤其是在测量条件下,想要提高测量精度,多数情况就是提高相机分辨率,这直接带来计算量大量提高。
这篇关于深度学习三维重建-双目视差三维重建小笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!