相机模型与成像过程:深入解析相机内参、外参及标定方法

2024-08-21 12:28

本文主要是介绍相机模型与成像过程:深入解析相机内参、外参及标定方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Camera

相机模型与成像过程:深入解析相机内参、外参及标定方法

引言

相机作为图像采集的重要设备,在图像处理、计算机视觉及机器视觉等领域扮演着核心角色。了解相机的成像原理、模型参数及标定方法,对于提升图像质量和后续处理效果至关重要。本文将详细解析相机模型与成像过程。

相机模型与成像过程

针孔相机模型

针孔相机模型是计算机视觉和摄影中广泛使用的一个基础模型,它模拟了光线通过一个理想化的针孔(即相机的光心)投射到成像平面上的过程。这个模型简化了相机的成像机制,将三维世界中的点映射到二维图像平面上。

在针孔相机模型中,我们定义三个主要的坐标系:

  • 世界坐标系:用于描述物体在三维空间中的位置。
  • 相机坐标系:以相机的光心为原点,光轴为Z轴建立的坐标系,用于描述物体相对于相机的位置。
  • 图像坐标系(或称为像平面坐标系):位于相机的成像平面上,用于记录物体投影后的二维坐标。

针孔相机模型的核心公式是:

x = f ⋅ X Z 和 y = f ⋅ Y Z x = f \cdot \frac{X}{Z} \quad \text{和} \quad y = f \cdot \frac{Y}{Z} x=fZXy=fZY

注意,这里我去掉了负号,因为在实际应用中,我们通常将成像平面设置在相机坐标系的Z轴正方向(即相机前方)的某个位置,并通过调整焦距f和坐标系的定义来确保公式的一致性。其中,f是相机的焦距,X、Y、Z是相机坐标系中物体的坐标,x、y是物体在成像平面上的投影坐标。

透视相机模型与畸变校正

尽管针孔相机模型提供了一个简洁的成像框架,但实际相机镜头由于制造和设计的限制,往往会产生各种畸变,尤其是径向畸变和切向畸变。这些畸变会导致图像中的形状失真,影响后续的图像处理和计算机视觉任务。

为了校正这些畸变,透视相机模型引入了畸变参数,并通过以下公式对图像坐标进行校正:

x c o r r e c t e d = x ⋅ ( 1 + k 1 ⋅ r 2 + k 2 ⋅ r 4 + k 3 ⋅ r 6 ) + 2 ⋅ p 1 ⋅ x ⋅ y + p 2 ⋅ ( r 2 + 2 ⋅ x 2 ) x_{corrected} = x \cdot (1 + k_1 \cdot r^2 + k_2 \cdot r^4 + k_3 \cdot r^6) + 2 \cdot p_1 \cdot x \cdot y + p_2 \cdot (r^2 + 2 \cdot x^2) xcorrected=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)

y c o r r e c t e d = y ⋅ ( 1 + k 1 ⋅ r 2 + k 2 ⋅ r 4 + k 3 ⋅ r 6 ) + p 1 ⋅ ( r 2 + 2 ⋅ y 2 ) + 2 ⋅ p 2 ⋅ ( x 2 − y 2 ) y_{corrected} = y \cdot (1 + k_1 \cdot r^2 + k_2 \cdot r^4 + k_3 \cdot r^6) + p_1 \cdot (r^2 + 2 \cdot y^2) + 2 \cdot p_2 \cdot (x^2 - y^2) ycorrected=y(1+k1r2+k2r4+k3r6)+p1(r2+2y2)+2p2(x2y2)

其中, x x x y y y 是畸变图像中的原始坐标, x c o r r e c t e d x_{corrected} xcorrected y c o r r e c t e d y_{corrected} ycorrected 是校正后的坐标。 r 2 = x 2 + y 2 r^2 = x^2 + y^2 r2=x2+y2 是畸变图像中点到图像中心(通常是光心在成像平面上的投影)的距离的平方。 k 1 k_1 k1 k 2 k_2 k2 k 3 k_3 k3 是径向畸变系数,用于校正由于镜头形状引起的径向方向的变形; p 1 p_1 p1 p 2 p_2 p2 是切向畸变系数,用于校正由于镜头与成像平面不平行引起的切向方向的变形。

通过相机标定过程,我们可以估计出这些畸变系数,并应用上述公式对图像进行畸变校正,以获得更准确的成像结果。

成像过程

相机的成像过程可以概括为四个坐标系的转换:世界坐标系(UVW)-> 相机坐标系(XYZ)-> 图像坐标系(x, y)-> 像素坐标系(u, v)。

  1. 世界坐标到相机坐标:通过旋转和平移变换(即相机的外部参数),将世界坐标系中的点转换为相机坐标系中的点。

    [ X Y Z 1 ] = [ R t 0 1 ] [ U V W 1 ] \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} = \begin{bmatrix} R & t \\ 0 & 1 \end{bmatrix} \begin{bmatrix} U \\ V \\ W \\ 1 \end{bmatrix} XYZ1 =[R0t1] UVW1

    其中, R \mathbf{R} R是3x3的旋转矩阵, t \mathbf{t} t是3x1的平移向量。

  2. 相机坐标到图像坐标:通过透视投影,将相机坐标系中的点投影到图像坐标系上。这一步仅与焦距f有关。

    x = f ⋅ X Z , y = f ⋅ Y Z x = f \cdot \frac{X}{Z}, \quad y = f \cdot \frac{Y}{Z} x=fZX,y=fZY

  3. 图像坐标到像素坐标:通过仿射变换,将图像坐标系中的点转换为像素坐标系中的点。这一步涉及光心位置、像素分辨率和偏斜角等相机内部参数。

    u = α x + u 0 , v = β y + v 0 u = \alpha x + u_0, \quad v = \beta y + v_0 u=αx+u0,v=βy+v0

    其中, α \alpha α β \beta β是x和y方向上的缩放因子, u 0 u_0 u0 v 0 v_0 v0是图像中心像素坐标。

相机内参和外参

内参

相机内参是描述相机内部特性的参数,它们对相机如何将三维世界中的点映射到二维图像平面上起着关键作用。除了基本的焦距、光心位置和像素分辨率外,内参还包括畸变参数,这些参数用于校正由于相机镜头制造和组装过程中的不完美导致的图像畸变。

内参矩阵K通常表示为:

K = [ f x 0 u 0 0 f y v 0 0 0 1 ] K = \begin{bmatrix} f_x & 0 & u_0 \\ 0 & f_y & v_0 \\ 0 & 0 & 1 \end{bmatrix} K= fx000fy0u0v01

其中, f x f_x fx f y f_y fy 是焦距在图像平面上的等效值,通常与像素的纵横比和物理焦距有关( f x = α ⋅ f f_x = \alpha \cdot f fx=αf f y = β ⋅ f f_y = \beta \cdot f fy=βf),而 u 0 u_0 u0 v 0 v_0 v0 是图像平面的光心坐标(通常是图像的中心,但可能由于制造误差而略有偏移)。

畸变参数通常包括径向畸变和切向畸变系数。径向畸变使图像看起来像是通过一个球形透镜观看,导致图像向中心“收缩”或向外“膨胀”。切向畸变则是由于相机镜头与图像平面不完全平行引起的。畸变参数通常表示为 k 1 , k 2 , k 3 k_1, k_2, k_3 k1,k2,k3(径向畸变)和 p 1 , p 2 p_1, p_2 p1,p2(切向畸变)。

外参

相机外参描述了相机在世界坐标系中的位置和朝向。外参由旋转矩阵 R \mathbf{R} R 和平移向量 t \mathbf{t} t 组成,它们将世界坐标系中的点转换为相机坐标系中的点。

( X c Y c Z c ) = R ( X w Y w Z w ) + t \begin{pmatrix} X_c \\ Y_c \\ Z_c \end{pmatrix} = \mathbf{R} \begin{pmatrix} X_w \\ Y_w \\ Z_w \end{pmatrix} + \mathbf{t} XcYcZc =R XwYwZw +t

这个公式描述了如何将世界坐标系中的三维点 ( X w , Y w , Z w ) (X_w, Y_w, Z_w) (Xw,Yw,Zw) 转换为相机坐标系中的三维点 ( X c , Y c , Z c ) (X_c, Y_c, Z_c) (Xc,Yc,Zc)。其中:

  • R \mathbf{R} R 是3x3的旋转矩阵,表示相机的旋转姿态,它由三个旋转角(如俯仰角、偏航角和滚转角)决定。
  • t \mathbf{t} t 是3x1的平移向量,表示相机在世界坐标系中的位置。

结合内参和外参,可以计算出世界坐标系中的点到图像坐标系(即像素坐标系)的映射关系,这是计算机视觉和机器人学中许多任务(如三维重建、增强现实、运动跟踪等)的基础。

相机标定

相机标定是通过已知的世界坐标和对应的像素坐标,计算相机的内参和外参的过程。标定过程通常涉及以下步骤:

  1. 采集标定图像:使用相机从不同角度拍摄标定板(如棋盘格),确保每张图像中标定板完整且清晰可见。

  2. 检测角点:利用图像处理算法(如OpenCV的cv2.findChessboardCorners)检测每张图像中标定板的角点,并获取这些角点在图像坐标系中的坐标。

  3. 计算内参、畸变参数及外参:利用检测到的角点坐标和已知的标定板角点在世界坐标系中的坐标,通过cv2.calibrateCamera等函数计算相机的内参、畸变参数及外参。

  4. 优化和验证:通过优化算法(如最小二乘法)对计算得到的内参和外参进行进一步优化,以提高标定精度。同时,使用未参与标定的图像对标定结果进行验证,确保标定参数的准确性和可靠性。

  5. 应用标定结果:标定完成后,可以将得到的内参、外参及畸变参数应用于后续的图像处理、三维重建等任务中,以提高处理效果和精度。

畸变校正的示例代码

在相机标定完成后,可以使用计算出的畸变参数对图像进行畸变校正。以下是一个使用OpenCV进行畸变校正的示例代码:

import cv2
import numpy as np# 假设已经计算得到了相机的内参矩阵 mtx 和畸变系数 dist
# 读取一张需要校正的图像
img = cv2.imread('calibration_images/distorted_image.jpg')
h, w = img.shape[:2]# 获取校正映射
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 1, (w, h))# 校正图像
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)# 裁剪图像
x, y, w, h = roi
dst = dst[y:y+h, x:x+w]# 显示校正后的图像
cv2.imshow('Undistorted Image', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

标定误差评估

在标定完成后,通过计算重投影误差来评估标定结果的准确性。重投影误差是指将三维世界坐标点通过标定得到的内参和外参投影到图像平面上的点与实际检测到的图像坐标点之间的距离。较小的重投影误差表明标定精度较高。

mean_error = 0
for i in range(len(objpoints)):imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)error = cv2.norm(imgpoints[i], imgpoints2, cv2.NORM_L2)/len(imgpoints2)mean_error += error
total_error = mean_error/len(objpoints)
print(f"Total re-projection error: {total_error}")

在实际应用中,重投影误差一般要求在亚像素级别(如小于0.5像素),以保证标定结果的可靠性。

相机标定的实际应用场景

相机标定在许多计算机视觉和图像处理任务中具有广泛应用。以下是几个典型的应用场景:

  1. 三维重建:通过标定相机获取精确的内参和外参,可以将二维图像中的点映射到三维空间,从而进行三维模型的重建。

  2. 增强现实(AR):在增强现实应用中,相机标定用于将虚拟物体准确地叠加在真实世界中,实现虚实融合的效果。

  3. 无人驾驶:在无人驾驶技术中,摄像头标定是实现环境感知和障碍物检测的重要步骤,标定的精度直接影响自动驾驶的安全性和可靠性。

结论

本文详细介绍了相机模型、成像过程、内参与外参的概念,以及相机标定的具体步骤和误差评估方法。通过深入理解这些基础知识,可以为计算机视觉和图像处理领域的实际应用奠定坚实的基础。在未来的应用中,这些知识将帮助我们更好地处理复杂的视觉任务,提高系统的整体性能和稳定性。

这篇关于相机模型与成像过程:深入解析相机内参、外参及标定方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1093159

相关文章

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

SQL中redo log 刷⼊磁盘的常见方法

《SQL中redolog刷⼊磁盘的常见方法》本文主要介绍了SQL中redolog刷⼊磁盘的常见方法,将redolog刷入磁盘的方法确保了数据的持久性和一致性,下面就来具体介绍一下,感兴趣的可以了解... 目录Redo Log 刷入磁盘的方法Redo Log 刷入磁盘的过程代码示例(伪代码)在数据库系统中,r

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

java解析jwt中的payload的用法

《java解析jwt中的payload的用法》:本文主要介绍java解析jwt中的payload的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java解析jwt中的payload1. 使用 jjwt 库步骤 1:添加依赖步骤 2:解析 JWT2. 使用 N

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

html5的响应式布局的方法示例详解

《html5的响应式布局的方法示例详解》:本文主要介绍了HTML5中使用媒体查询和Flexbox进行响应式布局的方法,简要介绍了CSSGrid布局的基础知识和如何实现自动换行的网格布局,详细内容请阅读本文,希望能对你有所帮助... 一 使用媒体查询响应式布局        使用的参数@media这是常用的

Spring 基于XML配置 bean管理 Bean-IOC的方法

《Spring基于XML配置bean管理Bean-IOC的方法》:本文主要介绍Spring基于XML配置bean管理Bean-IOC的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录一. spring学习的核心内容二. 基于 XML 配置 bean1. 通过类型来获取 bean2. 通过