双目立体视觉中基于深度学习的Cost Volume浅析(difference方式)

本文主要是介绍双目立体视觉中基于深度学习的Cost Volume浅析(difference方式),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

对于双目立体视觉方向的初学者来说,基于传统方法的Cost Volume构建比较容易懂,但是基于深度学习的Cost Volume构建却和传统方法构建大为不同,严重困扰“小白”的学习兴趣和进程。今天,我将用一个简单的例子,通俗易懂的介绍基于深度学习的Cost Volume浅析(以difference方式构建),仅供参考,如有差错,欢迎留言,以便勘误,共同进步。

双目立体视觉中基于深度学习的Cost Volume(difference方式)的参考代码如下:

'''
参考:https://zhuanlan.zhihu.com/p/293304108
'''
import torch
max_disp = 2# 1.提取特征图
left_feature = torch.ones(48).reshape(1,3,4,4)
right_feature = torch.zeros(48).reshape(1,3,4,4)
print("left_feature:", left_feature.shape)
print("right_feature:", right_feature.shape)
print("left_feature:\n", left_feature)
print("right_feature:\n", right_feature)
print("---------------------------------------------------------------")# 2.特征融合
class CostVolume():def __init__(self):pass'''feature_similarity:聚合方式left_feature:左特征图right_feature:右特征图'''def forward(self, feature_similarity, left_feature, right_feature):b, c, h, w = left_feature.size()self.max_disp = max_dispself.feature_similarity = feature_similaritycost_volume = left_feature.new_zeros(b, c, self.max_disp, h, w)print("original_cost_volume shape:", cost_volume.shape)print("original_cost_volume value:", cost_volume)for i in range(self.max_disp):if i > 0:print("********************************************************")print("left_feature[:, :, :, i:](i > 0 == i = 1):\n",    left_feature[:, :, :, i:])print("right_feature[:, :, :, :-i](i > 0 == i = 1)):\n", right_feature[:, :, :, :-i])cost_volume[:, :, i, :, i:] = left_feature[:, :, :, i:] - right_feature[:, :, :, :-i]print("cost_volume[:, :, i, :, i:](i > 0 == i = 1):\n", cost_volume[:, :, i, :, i:])print("final cost_volume:\n", cost_volume)else:cost_volume[:, :, i, :, :] = left_feature - right_feature  # i=0,表示左右两个特征图视差为0,没有差值,直接相减即可print("cost_volume[:, :, i, :, :] (i=0):\n", cost_volume)if __name__== "__main__" :cost_volume = CostVolume()cost_volume.forward("difference", left_feature, right_feature)

 (1)left_feature和right_feature的数据格式如下:

 (2)原始定义的cost volume数据格式如下:

 (3)当i=0时,cost volume数据格式如下:

 (4)当i>0时,cost volume数据格式如下:

  (5)最终的cost volume数据格式如下:

分析:对比最开始的cost volume、i=0的cost volume和最终的cost volume的区别:

在基于深度学习的双目立体视觉中,Cost Volume是一个5维数组([B,C,D,H,W]),其中B代表Batch size,C代表Channel,D代表深度Depth ,H代表特征图的高度Hight,W代表特征图的宽度Wight。暂时抛开Batch size B,那么Cost Volume就是一个4维数组([C,D,H,W]),可以表述为:在每个通道C中,每个视差D下,每个像素点的匹配代价值。
在以difference的方式进行双目匹配中。输入左右视图的特征图维度为B C H W。首先,对D(max disparity)维度进行遍历,cost volume(:, :, i, :, i:)可以理解为视差为i时,左右视图的相似度。

对于双目图像对来说,左右视图之间的存在视差,左右视图只有一部分是重合的,重合部分在左图的右边,右图的左边。因此在计算的时候,取左特征图的第i列到最后一列与右特征图的第一列到倒数第i列相减。cost volume(:,:,i,:,:)每个像素表示视差为i时,左图(x,y)像素与右图(x, y+i)像素的差异程度。输出的cost volume维度为B C D H W。

i=0,表示左右特征图中匹配点对齐,即直接left_feature和right_feature相减;

i>0,   表示左右特征图中匹配点没有对齐,这个时候就需要左右特征图错开,以视差为标准,进行左右特征图的错位相减。

cost_volume[:, :, i, :, i:] = left_feature[:, :, :, i:] - right_feature[:, :, :, :-i]

从代码中还可以看到,在计算cost volume之前,判断i为否为正数。i为正表示,左图在右图左边,右图在左图右边,只有这时才符合正常的双目视图的几何模型。

模型图如下所示:
​​​​​​​

参考文献:

[1] 计算机视觉中cost-volume的概念具体指什么? - 知乎

[2]双目深度算法——基于Cost Volume的方法(GC-Net / PSM-Net / GA-Net)_Leo-Peng的博客-CSDN博客_gc-net

[3]在计算机视觉(CV)领域,针对图像的cost volume模块是什么? - 知乎

[4]https://zhidao.baidu.com/question/1741015413026869187.html

[5]Cost volume的理解及其变体 - 知乎

这篇关于双目立体视觉中基于深度学习的Cost Volume浅析(difference方式)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/661542

相关文章

Linux线程之线程的创建、属性、回收、退出、取消方式

《Linux线程之线程的创建、属性、回收、退出、取消方式》文章总结了线程管理核心知识:线程号唯一、创建方式、属性设置(如分离状态与栈大小)、回收机制(join/detach)、退出方法(返回/pthr... 目录1. 线程号2. 线程的创建3. 线程属性4. 线程的回收5. 线程的退出6. 线程的取消7.

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译(设置GOOS为linux生成无后缀二进制文件),上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序

Linux下删除乱码文件和目录的实现方式

《Linux下删除乱码文件和目录的实现方式》:本文主要介绍Linux下删除乱码文件和目录的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux下删除乱码文件和目录方法1方法2总结Linux下删除乱码文件和目录方法1使用ls -i命令找到文件或目录

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

浅析Spring如何控制Bean的加载顺序

《浅析Spring如何控制Bean的加载顺序》在大多数情况下,我们不需要手动控制Bean的加载顺序,因为Spring的IoC容器足够智能,但在某些特殊场景下,这种隐式的依赖关系可能不存在,下面我们就来... 目录核心原则:依赖驱动加载手动控制 Bean 加载顺序的方法方法 1:使用@DependsOn(最直

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》:本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目,它提供了一个容易使用的持续集成系统,并且提供了大量的plugin满

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys

C#读写文本文件的多种方式详解

《C#读写文本文件的多种方式详解》这篇文章主要为大家详细介绍了C#中各种常用的文件读写方式,包括文本文件,二进制文件、CSV文件、JSON文件等,有需要的小伙伴可以参考一下... 目录一、文本文件读写1. 使用 File 类的静态方法2. 使用 StreamReader 和 StreamWriter二、二进

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1