stereo专题

PSMNet:Pyramid Stereo Matching Network学习测试笔记04-特征提取部分前向传播

写在前面的话： 2019年9月21日18:56:48好久没回来更新博客了。因为在实习中，实习的新问题一大堆，并且实习的工作内容整理了也是发在公司内网wiki，外面是不可能发的（专业，有节操）。周末再做做毕业论文相关的工作。写在前面的话2： 2019年09月28日18:02:55补充说明：CSDN博客发布版权更新，如果您看了博客并且用到PSMNet相关东西，请注明引用原作者的文章： @inpr

PSMNet:Pyramid Stereo Matching Network学习测试笔记03-如何训练网络

写在前面的话： 2019年09月28日18:02:55补充说明：CSDN博客发布版权更新，如果您看了博客并且用到PSMNet相关东西，请注明引用原作者的文章： @inproceedings{chang2018pyramid, title={Pyramid Stereo Matching Network}, author={Chang, Jia-Ren and Chen, Yong-Sheng}

论文阅读笔记——DeepPruner: Learning Efficient Stereo Matching via Differentiable PatchMatch

这篇文章，是2019年新的ICCV的papper，文章典型的使用了PatchMatch的思路，使得最后的速度快了很多。主要思路是：首先利用一种新颖的可微Patch Match算法来获得稀疏的cost volume。然后，我们利用此表示来了解每个像素的修剪范围，自适应地修剪了每个区域的搜索空间。最后，利用图像引导的优化模块来进一步提高性能。由于所有组件都是可区分的，因此可以以端到端的方式训练整

Apple HEVC Stereo Video

1. 前言为左眼和右眼携带立体视频视图的能力产生了更丰富的用户体验。立体视频（有时称为“3D 视频”）向用户的左眼呈现一个图像，向用户的右眼呈现另一幅图像（通常是相关的）以产生立体效果，定义为：大脑接收双眼视觉刺激而产生的深度知觉；双眼视觉。如下图，左眼一幅图，右眼一幅图，同时播放在加上apple眼镜的渲染，就形成3D效果。 Apple的立体视频也是以上的模式，这里介绍Apple

Ubuntu 16.04 下 PL-SLAM (Stereo) 的安装和使用

Overview 欢迎访问 https://cgabc.xyz/posts/b4bebaf6/，持续更新 This code rubengooj/pl-slam contains an algorithm to compute stereo visual SLAM by using both point and line segment features. Related Publicat

rc_visard 3D Stereo Senso

1 简介 rc_visard 3D立体视觉传感器支持的接口标准 GenICam Generic Interface for CamerasGigE Gigabit Ethernet 词汇表 SGM semi-global matching 半全局匹配 SLAM Simultaneous Localization and Mapping 即时定位与地图构建 2 安全 3 硬件规格

立体匹配论文阅读（2）-- Stereo Matching with Color-Weighted Correlation, Hierarchical Belief Propagation...

《 Stereo Matching with Color-Weighted Correlation, Hierarchical Belief Propagation, and Occlusion Handling》题目翻译：使用颜色加权的相关性和遮挡区处理的结构性置信度传播的立体匹配算法其提出的算法主要流程为以下三个步骤，文章中也分别给出了相对应的框图： 1.初始视差的得到 2.像

立体匹配论文阅读（1）-Segment-based stereo matching using belief propagation and a self-adapting dissimilarity

《Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure》将题目翻译过来是：使用置信度传播和自适应差异测度的基于图像分割的立体匹配算法其提出的算法主要流程为： 1.准备待匹配图像对 2.使用mean-shift方法，根绝颜色和亮度的统一性，将参考图像

OmniMVS拜读：End-to-End Learning for Omnidirectional Stereo Matching

图像来源 wide field-of-view (FOV) cameras on an omnidirectional rig 文中具体为4个刚耦合的鱼眼相机方法 1.将输入的鱼眼图像提取为unary feature maps 通过2D CNN实现文中使用SegNet+dilated convolution 2.利用feature maps和内外参建立4D feature volum

两步成功实现在stereo-dso上运行kitti数据集

1. 双目DSO运行kitti数据集效果图首先上图，图1是双目DSO在kitti的运行动图，下文将对如何实现双目DSO在kitti上运行进行详细介绍。有关双目DSO如何在ubuntu系统下安装请参看这里。 2. 运行KITTI 第一步，创建一个txt文件，将其命名为kitti.txt，将其保存在双目DSO目录文件夹下。在kitti.txt内写入以下内容： Pinhole 7.18856

论文笔记 - Omnidirectional stereo depth estimation based on spherical deep network

论文笔记 Omnidirectional stereo depth estimation based on spherical deep network 本文是2021 Image and Vision Computing上的一篇文章。IVC算是领域内认可度较高的期刊之一。本文针对双目全景深度估计，提出了基于球面卷积的级联网络，将全景图的平面投影转换到球面表示，获取了高精度的全景深度图。本文链

Photometric Stereo光度立体三维重建（五）——基于深度学习的PS方法

本文将会介绍几种具有代表性的将深度学习与Photometric Stereo进行结合来进行三维重建的方法一、开山之作 DPSN 论文：Deep Photometric Stereo Network github：https://github.com/hiroaki-santo/deep-photometric-stereo-network 参数化的郎伯反射模型建立在理想的漫反射假设下，而且

Photometric Stereo 光度立体三维重建（四）——光源标定

光源标定是进行光度立体三维重建的第一步，本文将介绍两种光源标定方法——基于金属球反射的标定以及基于“SFM”思想的标定 1.基于金属球反射的标定标定光源的一种方法是使用金属球，在排到的金属球的照片上面的最亮的点指明了光源的方向来源于http://pages.cs.wisc.edu/~csverma/CS766_09/Stereo/stereo.html的示意图：然而，这幅示意图的几何

Photometric Stereo 光度立体三维重建（三）——由法向量恢复深度

本文分为三部分，第一部分是使用最小二乘法求解物体表面法向量，第二部分是利用求解得到的法向量求出物体表面的深度（物体表面的高度场），第三部分是将求出的高度场写成obj文件后使用MeshLab显示 1. 最小二乘求解物体表面法向量 Python代码代码所使用的数据来自https://github.com/yasumat/RobustPhotometricStereo import numpy

Photometric Stereo 光度立体三维重建（二）——研究现状

本文首先介绍基于稀疏回归的鲁棒光度立体三维重建，再介绍光度立体三维重建的基准数据集 1.基于稀疏回归的鲁棒光度立体三维重建在基于光度的三维重建中，若表面不是郎伯的，会出现离群值，比如物体表面的投射阴影，附着阴影以及高光点（镜面反射），如图所示： 1.1 回归方法我们对郎伯成像模型加上腐蚀（corruption，理解为加上噪声）：再通过传统的最小二乘法求解：但是，L2回归会受到

Photometric Stereo 光度立体三维重建（一）——介绍

在计算机视觉的三维重建中，基于几何的方法有： SFM立体视觉结构光我们在这篇文章中介绍的是基于光度立体视觉的三维重建方法：基于几何的三维重建方法中可以恢复粗略的三维形状，而光度法的特点是可以对物体进行精细恢复 0. 预备知识 0.1 物体表面法向量一个表面的法向量（法线）n垂直于其切平面： 0.2 郎伯反射特点: 1.反射光的量与 l T n ( = c o s θ

【论文阅读笔记】A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction

A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset 目录主要贡献摘要RED-Net细节二维特征提取cost map递归编解码器正则化loss计算实验结果主要贡献摘要近年来的大量

计算机视觉与深度学习 | TANDEM：Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo

================================================ 博主github：https://github.com/MichaelBeechan 博主CSDN：https://blog.csdn.net/u011344545 ================================================ 计算机视觉与深度学习 | SLA

【论文简述】IterMVS: Iterative Probability Estimation for Efficient Multi-View Stereo（CVPR 2022）

一、论文简述 1. 第一作者：Fangjinhua Wang 2. 发表年份：2022 3. 发表期刊：CVPR 4. 关键词：MVS、深度学习、GRU、分类+回归 5. 探索动机：较低的运行时间和功耗是大多数工业应用的关键，因此资源友好性的方法变得更加重要。MVSNet由于3D CNN的原因，很难处理高分辨率的图像。循环的方法（GRU，LSTM）减少了内存消耗，但是运行时间变长了。级联

[论文翻译]A Novel Recurrent Encoder-Decoder Structure for Large-Scale Mulit-view Stereo Reconstruction

A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset 摘要1.Introduction2.相关工作2.1数据集2.2网络 3.WHU 数据集3.1 数据源3.2合成航空数据集3.3用于深度学习的子数据集 4

前端：An iterative image registration technique with an application to stereo vision

这篇论文主要记录Lucas 光流法，KLT光流跟踪的基础。图像点定位的方法，即图像的局部匹配，将图像匹配问题，从传统的滑动窗口搜索方法变为一个求解偏移量d的过程【摘要】主要讲了图像配准的一种方法–利用图像的空间强度梯度和牛顿迭代法找到好的匹配。此方法更快（仅从较少的匹配中筛选）且适用于旋转、尺度、裁剪等变换。【简介】现存的方法代价大且不能处理旋转或者其他变形的情况，提出了一种新的技术–

【论文简述】MVSFormer：Multi-View Stereo by Learning Robust Image Features and Temperature-based（TMLR 2023）

一、论文简述 1. 第一作者：Chenjie Cao 2. 发表年份：2023 3. 发表期刊：TMLR 4. 关键词：MVS、3D重建、预训练、Vision Transformers 5. 探索动机：正则化并不能完全纠正来自反射或无纹理区域的模糊特征匹配，这些区域具有不可靠的2D图像特征。因此，在特征提取过程中学习良好的代表性特征，对于提高MVS的泛化程度仍具有重要意义。此前很少有工作

PSM-Net根据Stereo图像生成depth图像

一、新建文件夹在KITTI数据集下新建depth_0目录二、激活anaconda环境 conda activate pt14py37 三、修改submission.py文件 3.1 KITTI数据集路径 parser.add_argument('--datapath', default='/home/njust/KITTI_DataSet/00/',help='select

【OpenCV-Python】教程：6-4 Depth Map from Stereo Images 立体图像的深度图

OpenCV Python Depth Map from Stereo Images 立体图像的深度图【目标】通过立体图像创建一个深度图【理论】上一节中，我们学习了一些基本概念，如对极约束和其他一些相关术语。我们还可以看到，如果我们有同一个场景的两张图像，我们可以以一种直观的方式获得深度信息。上图包含等价三角形。写出它们的等价方程，得到如下结果: d i s p a r

CasMVSNet 论文学习：Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching

论文解决的问题本文提出了一种级联的思想，用来解决MVSNet和stereo matching中提出的3D代价体消耗过大的问题。构建三维代价体的目的是用来正则化并回归深度，并且可以适应任意数量的输入。但是随着代价体size增加，时间空间消耗是立方级增长的。因此提出了级联代价提的方法来进行corse-fine的调整。该方法在DTU准确度提升了35%，GPU和运行时间降了50%。主要的方法是：使

HSM-Net: Hierarchical Deep Stereo Matching on High-resolution Images

paper code Abstract 应用端到端的框架，从粗到细的层次上递增地搜索对应关系。由于高分辨率立体数据集相对较少，我们引入了一个包含高分辨率立体对的数据集，用于训练和评估。 Motivation 1.立体匹配中的误差随深度的增加呈二次曲线增加，提供更高的分辨率可以带来更好的预估。但是高分辨率带来运行时间和内存开销的增加过大。 2.对于缩小比例的图像可以得到更快的运行速度，但是预测