【2024】OAK智能深度相机校准教程

2024-02-16 07:30

本文主要是介绍【2024】OAK智能深度相机校准教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

编辑:OAK中国
首发:oakchina.cn
喜欢的话,请多多👍⭐️✍
内容可能会不定期更新,官网内容都是最新的,请查看首发地址链接。

▌前言

Hello,大家好,这里是OAK中国,我是Ashely。

近期我们更新了校准程序和方式,让OAK相机的精度有所提升。大家如果手里用的是旧设备,可以根据本教程来重新校准设备,精度可能会好点。

目前支持的校准程序:

  • 深度校准
  • ToF校准

如果你用的是非ToF款相机,请只看“深度校准”这一部分即可。

▌深度校准

相机校准是确定相机的固有、外在和畸变参数的过程。相机需要这些才能将 3D 世界中的点映射到图像中的 2D 点,反之亦然,以消除图像失真,并从立体图像中确定深度。

根据这些参数,相机还计算出用于校正(对齐)立体相机的图像的校正矩阵,因此 StereoDepth 节点可以执行立体视差计算和深度估计。

注意!所有带外壳的OAK相机在出厂前就完成了校准,除非你对校准的精度不满意,否则不用再自己重新校准一次。
分体式OAK-FFC系列的产品,在完成安装后,必须做校准。

以下是一个校准步骤的演示视频,有关校准的更多信息查看以下步骤以及 ./calibrate.py --help 将打印出所有校准选项的步骤。

【2023】用新程序校准OAK双目相机教程

须知

你的电脑需要安装depthai,可通过以下方式安装:

git clone https://github.com/luxonis/depthai.git
cd depthai
git submodule update --init --recursive
python3 install_requirements.py

准备charuco标定板

我们通过将 charuco 板显示在电视或大型(平面,非曲面)显示器上找到了最佳效果。屏幕越大越好,因为它们允许在图像中显示更多的字符标记,这通常会提高校准精度。根据屏幕尺寸(对角线,以英寸为单位),我们建议全屏显示以下charuco板:

  • 24寸屏幕:charuco_24inch_13x7
  • 28寸屏幕:charuco_28inch_15x8
  • 32寸屏幕:charuco_24inch_17x9
  • 36寸屏幕:charuco_36inch_19x11
  • 42寸屏幕:charuco_42inch_22x12
  • 50寸屏幕:charuco_24inch_27x15
  • 55寸屏幕:charuco_55inch_30x17
  • 65寸屏幕:charuco_65inch_35x20
  • 75寸屏幕:charuco_75inch_41x23

如果你用的是其他尺寸的屏幕,建议选比屏幕稍小的charuco板。

如果无法在显示器上显示charuco板,你可以将板打印到平坦的表面上(如PVC板货KT板),没有褶皱或凹凸。你也可以将其打印到一张纸上并将其粘在坚固、平坦的表面上。材质不要太反光!

我们更推荐的方式是打印在KT板上,就像我们视频中用的那种。

屏显charuco板

全屏显示charuco板时,标记和方块应清晰可见。注意以下几点:

  • 屏幕不应太亮(或太暗),因为它会导致图像过度饱和,这将使相机更难检测到标记。
  • 不要让明亮的灯光/阳光直接照射在屏幕上。
  • 全屏显示charuco板,使标记尽可能大。

接下来测量 charuco 板的正方形尺寸,因为我们稍后会用到它。

配置json文件

如果你用的是带外壳的OAK相机,则可以直接用现成的配置。(查看)

如果你用的是一个分体式OAK-FFC相机,则可以用这个模板去配置json文件,修改一些参数数值。参数解释看下图。

运行校准脚本

将占位符参数值替换为有效条目:

python3 calibrate.py -s [SQUARE_SIZE_IN_CM] --board [BOARD] -nx [squaresX] -ny [squaresY]

例如,在32‘’屏幕上校准OAK-D-S2,正方形尺寸为3.76cm,应该运行如下命令:

python3 calibrate.py -s 3.76 --board OAK-D-S2 -nx 17 -ny 9

如果没有RGB镜头,可以加-drgb,如下:

python3 calibrate.py -s 3.76 --board OAK-FFC-4P -nx 17 -ny 9 -drgb

运行python3 calibrate.py --help可以查看更多参数解释。

校准期间的相机定位

我们建议从不同的角度和距离捕获校准,因为这将有助于校准算法找到最佳校准。

1.靠近屏幕:校准板几乎覆盖了整个视场。拍摄 5 张照片以覆盖相机的整个 FOV。

1)前视图,FOV中间的校准板(参考下图)。

2)在不移动(平移)相机的情况下,只需旋转即可将相机 FOV 与校准板边缘对齐(例如:右下角、左上角、右上角、左下角)

2.靠近屏幕从侧面。校准板倾斜的 4 张或更多图像,但仍覆盖大部分FOV。将相机移动到屏幕的顶部、底部、左侧和右侧。你也可以使用不同的距离。

3.中距离:校准板覆盖 40% 的 FOV。拍摄 5 张图像以覆盖相机的整个 FOV。

1)前视图,FOV中间的校准板。

2)与 2.靠近屏幕 一样,无需移动,仅通过旋转将相机 FOV 与校准板边缘对齐。

4.远离屏幕:校准板仅覆盖 FOV 的一小部分。总共拍摄 9 张图像以覆盖相机的整个 FOV。

1)正面视图,FOV中间的校准板。

2)与 2.靠近屏幕 类似,拍摄 4 张图像,将相机 FOV 对齐到所有 4 个边缘。

3)除了与所有 4 个边缘对齐外,还要拍摄 4 张与角对齐的图像(例如:顶部、底部、左侧、右侧)。

校准期间不同的相机旋转/位置,鸟瞰图

例如,28寸屏幕,近距离50CM,远距离1M。

正常视角的OAK相机参考位置图:

广角的OAK相机参考位置图:

运行校准

捕获图像后,我们可以运行校准。这是通过按 s 键完成的。该脚本将显示每个图像的 epiplolar 线条,您应该检查它们是否正确对齐。检查完所有图像后,校准结果(如果成功)将闪烁到器件EEPROM上。每个捕获的图像都保存在 dataset 文件夹中,因此您可以自行重新运行校准过程,而无需再次捕获图像。

python3 calibrate.py -s 3.76 --board OAK-D-S2 -nx 17 -ny 9 -m process

校准结果存储在 resources 文件夹中,以后可用于测试/调试目的。你还可以将此本地校准文件加载/刷新到设备(详情请参阅此处)。

问题排查

如果校准失败并出现错误: High reprojection error! ,通常的原因是电路板配置错误。很多时候,这是由于使用过的相机模块的指定 HFOV 不正确。

如果你发现尽管成功校准了相机并确认了外极线正确左右对齐,但深度仍然不正确,则可能是你的左右相机互换了。在这种情况下,你可以使用更改的电路板配置重试校准,或者直接更换相机插入的电路板插座。

▌ToF校准

飞行时间(ToF)校准对于将ToF传感器与系统中的其他相机对齐至关重要。此过程侧重于获取外部参数,这对于确保不同相机之间的协调操作至关重要。请注意,此校准不会提高深度精度,因为该方面由设备的固件管理。

校准程序

如果你已经安装了 DepthAI 库,则可以使用以下命令更新它以进行 TOF 校准:

git checkout new_tof_calib
git submodule update --init --recursive

安装更新的 DepthAI Python 库:

python3 .\install_requirements.py

要开始校准过程,请使用你正在使用的 Charuco 板的适当参数运行 calibrate.py。例如:

python3 calibrate.py -db -nx 12 -ny 9 -c 1 -cd 0 -s 6 -ms 4.7 -brd OAK-D-SR-POE

参数解释如下:

  • -db:表示默认板,表示你正在使用 Charuco 标记。
  • -nx:x 方向上的 Charuco 标记数。
  • -c:每次显示多边形时拍摄的照片数量(可选,建议在你的情况下省略)。
  • -cd:拍摄照片前的倒计时时间(以秒为单位)(可选,建议用于更快的图像校准)。
  • -s:Charuco 标记周围的正方形大小(以厘米为单位)。
  • -ms:标记的大小(以厘米为单位)。
  • -brd:设备的板(在本例中为 OAK-D-SR-POE)。

请注意,TOF校准可能具有挑战性,因为电路板必须靠近相机才能检测Charuco电路板。如果遇到 division by zero 或 Failed to detect markers in the image dataset/rgb/rgb_p3_10.png 等错误,则应转到数据集文件夹并删除 Charuco 板检测不佳的图片(在所有相机文件夹中)。然后,使用添加的参数 -m process 再次运行相同的代码。这将仅启动处理阶段,因此你不必重新拍摄电路板的照片。

python3 calibrate.py -db -nx 12 -ny 9 -c 1 -cd 0 -s 6 -ms 4.7 -brd OAK-D-SR-POE -m process

OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态

戳「+关注」获取最新资讯↗↗

 

这篇关于【2024】OAK智能深度相机校准教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/713896

相关文章

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

Python虚拟环境终极(含PyCharm的使用教程)

《Python虚拟环境终极(含PyCharm的使用教程)》:本文主要介绍Python虚拟环境终极(含PyCharm的使用教程),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录一、为什么需要虚拟环境?二、虚拟环境创建方式对比三、命令行创建虚拟环境(venv)3.1 基础命令3

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例

python连接本地SQL server详细图文教程

《python连接本地SQLserver详细图文教程》在数据分析领域,经常需要从数据库中获取数据进行分析和处理,下面:本文主要介绍python连接本地SQLserver的相关资料,文中通过代码... 目录一.设置本地账号1.新建用户2.开启双重验证3,开启TCP/IP本地服务二js.python连接实例1.

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas