双目立体匹配算法--归一化互相关(NCC)详解和代码实现(python)

本文主要是介绍双目立体匹配算法--归一化互相关(NCC)详解和代码实现(python),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原理:

  • 对于原始的图像内任意一个像素点 ( p x , p y ) (p_x,p_y) (px,py)构建一个 n × n n\times n n×n的邻域作为匹配窗口。然后对于目标相素位置 ( p x + d , p y ) (p_x+d, p_y) (px+d,py)同样构建一个 n × n n\times n n×n大小的匹配窗口,对两个窗口进行相似度度量,注意这里的 d d d有一个取值范围。对于两幅图像来说,在进行 N C C NCC NCC计算之前要对图像处理,也就是将两帧图像校正到水平位置,即光心处于同一水平线上,此时极线是水平的,否则匹配过程只能在倾斜的极线方向上完成,这将消耗更多的计算资源。
  • N C C NCC NCC计算公式如下图所示:
    在这里插入图片描述
    其中 N C C ( p , d ) NCC(p,d) NCC(p,d)得到的值得范围将在 [ − 1 , 1 ] 之 间 [-1,1]之间 [1,1]
    W p W_p Wp为之前提到的匹配窗口。
    I 1 ( x , y ) I_1(x,y) I1(x,y)为原始图像的像素值。
    I 1 ‾ ( p x , p y ) \overline{I_1}(p_x,p_y) I1(px,py)为原始窗口内像素的均值。
    I 2 ( x + d , y ) I_2(x+d,y) I2(x+d,y)为原始图像在目标图像上对应点位置在 x x x方向上偏移 d d d后的像素值。
    I 2 ‾ ( p x + d , p y ) \overline{I_2}(p_x+d, p_y) I2(px+d,py)为目标图像匹配窗口像素均值。
  • N C C = − 1 NCC = -1 NCC=1,则表示两个匹配窗口完全不相关,相反,若 N C C = 1 NCC = 1 NCC=1时,表示两个匹配窗口相关程度非常高。

匹配流程

  • 采集图像:通过标定好的双目相机采集图像,当然也可以用两个单目相机来组合成双目相机。
  • 极线校正:校正的目的是使两帧图像极线处于水平方向,或者说是使两帧图像的光心处于同一水平线上。通过校正极线可以方便后续的 N C C NCC NCC操作。
    • 由标定得到的内参中畸变信息中可以对图像去除畸变。
    • 通过校正函数校正以后得到相机的矫正变换R和新的投影矩阵P,接下来是要对左右视图进行去畸变,并得到重映射矩阵。
  • 特征匹配:这里便是我们利用 N C C NCC NCC做匹配的步骤啦,匹配方法如上所述,右视图中与左视图待测像素同一水平线上相关性最高的即为最优匹配。完成匹配后,我们需要记录其视差d,即待测像素水平方向xl与匹配像素水平方向xr之间的差值 d = x r − x l d = x_r - x_l d=xrxl,最终我们可以得到一个与原始图像尺寸相同的视差图 D D D
  • 深度恢复:通过上述匹配结果得到的视差图 D D D,我们可以很简单的利用相似三角形反推出以左视图为参考系的深度图。计算原理如下图所示:

在这里插入图片描述

如图, T x Tx Tx为双目相机基线, f f f为相机焦距,这些可以通过相机标定步骤得到。而 x r − x l xr - xl xrxl就是视差 d d d

通过公式 z = z = z= f × T x d {f \times Tx }\over d df×Tx可以很简单地得到以左视图为参考系的深度图了。

至此,我们便完成了双目立体匹配。倘若只是用于图像识别,那么到步骤3时已经可以结束了。

代码实现:

  • 本次使用的图片为:
    • 左图:
      在这里插入图片描述
    • 右图:
      在这里插入图片描述
  • 图片下载网址为:http://vision.middlebury.edu/stereo/data/scenes2003/ 已经经过矫正。
  • 版本1(运行较慢)
import numpy as np
import cv2
import mathim1 = 'im2.ppm'
im2 = 'im6.ppm'
img1 = cv2.imread(im1, cv2.CV_8UC1)
img2 = cv2.imread(im2, cv2.CV_8UC1)
rows, cols = img1.shape
print(img1.shape)
#用3*3卷积核做均值滤波def NCC(img1,img2,avg_img1,avg_img2,disparity,NCC_value,deeps, threshold,max_d, min_rows, max_rows):#设立阈值ncc_value = thresholdif min_rows == 0:min_rows += 1for i in range(3, max_rows - 3):for j in range(3, cols-3):if j < cols - max_d-3:max_d1 = max_delse:max_d1 = cols - j - 3for d in range(4, max_d1):#减一防止越界ncc1 = 0ncc2 = 0ncc3 = 0for m in range(i-3, i+4):for n in range(j-3, j+4):ncc1 += (img2[m, n] - avg_img2[i, j])*(img1[m, n+d]-avg_img1[i, j+d])ncc2 += (img2[m, n] - avg_img2[i, j])*(img2[m, n] - avg_img2[i, j])ncc3 += (img1[m, n+d]-avg_img1[i, j+d])*(img1[m, n+d]-avg_img1[i, j+d])ncc_b = math.sqrt(ncc2*ncc3)ncc_p_d = 0if ncc_b != 0:ncc_p_d = ncc1/(ncc_b)if ncc_p_d > ncc_value:ncc_value = ncc_p_ddisparity[i, j] = dNCC_value[i ,j] = ncc_p_dncc_value = thresholdprint("iter{0}".format(i))if __name__ == "__main__":disparity = np.zeros([rows, cols])NCC_value = np.zeros([rows, cols])deeps = np.zeros([rows, cols])# 用3*3卷积核做均值滤波avg_img1 = cv2.blur(img1, (7, 7))avg_img2 = cv2.blur(img2, (7, 7))img1 = img1.astype(np.float32)img2 = img2.astype(np.float32)avg_img1 = avg_img1.astype(np.float32)NCC(img1,img2,avg_img1,avg_img2, disparity, NCC_value,deeps, 0.6,64,0,150)disp = cv2.normalize(disparity, disparity, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX,dtype=cv2.CV_8U)cv2.imshow("depth", disp)cv2.waitKey(0)  # 等待按键按下cv2.destroyAllWindows()#清除所有窗口print(NCC_value)
  • 运行结果:
    在这里插入图片描述
  • 版本2:(运行快)
    • 已上传至我的 G i t h u b Github Github:sunrise666

参考博客:

双目立体匹配——归一化互相关(NCC)

这篇关于双目立体匹配算法--归一化互相关(NCC)详解和代码实现(python)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/219682

相关文章

MySQL 中的 JSON 查询案例详解

《MySQL中的JSON查询案例详解》:本文主要介绍MySQL的JSON查询的相关知识,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql 的 jsON 路径格式基本结构路径组件详解特殊语法元素实际示例简单路径复杂路径简写操作符注意MySQL 的 J

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

利用Python调试串口的示例代码

《利用Python调试串口的示例代码》在嵌入式开发、物联网设备调试过程中,串口通信是最基础的调试手段本文将带你用Python+ttkbootstrap打造一款高颜值、多功能的串口调试助手,需要的可以了... 目录概述:为什么需要专业的串口调试工具项目架构设计1.1 技术栈选型1.2 关键类说明1.3 线程模