相机模型与成像过程:深入解析相机内参、外参及标定方法

2024-08-21 12:28

本文主要是介绍相机模型与成像过程:深入解析相机内参、外参及标定方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Camera

相机模型与成像过程:深入解析相机内参、外参及标定方法

引言

相机作为图像采集的重要设备,在图像处理、计算机视觉及机器视觉等领域扮演着核心角色。了解相机的成像原理、模型参数及标定方法,对于提升图像质量和后续处理效果至关重要。本文将详细解析相机模型与成像过程。

相机模型与成像过程

针孔相机模型

针孔相机模型是计算机视觉和摄影中广泛使用的一个基础模型,它模拟了光线通过一个理想化的针孔(即相机的光心)投射到成像平面上的过程。这个模型简化了相机的成像机制,将三维世界中的点映射到二维图像平面上。

在针孔相机模型中,我们定义三个主要的坐标系:

  • 世界坐标系:用于描述物体在三维空间中的位置。
  • 相机坐标系:以相机的光心为原点,光轴为Z轴建立的坐标系,用于描述物体相对于相机的位置。
  • 图像坐标系(或称为像平面坐标系):位于相机的成像平面上,用于记录物体投影后的二维坐标。

针孔相机模型的核心公式是:

x = f ⋅ X Z 和 y = f ⋅ Y Z x = f \cdot \frac{X}{Z} \quad \text{和} \quad y = f \cdot \frac{Y}{Z} x=fZXy=fZY

注意,这里我去掉了负号,因为在实际应用中,我们通常将成像平面设置在相机坐标系的Z轴正方向(即相机前方)的某个位置,并通过调整焦距f和坐标系的定义来确保公式的一致性。其中,f是相机的焦距,X、Y、Z是相机坐标系中物体的坐标,x、y是物体在成像平面上的投影坐标。

透视相机模型与畸变校正

尽管针孔相机模型提供了一个简洁的成像框架,但实际相机镜头由于制造和设计的限制,往往会产生各种畸变,尤其是径向畸变和切向畸变。这些畸变会导致图像中的形状失真,影响后续的图像处理和计算机视觉任务。

为了校正这些畸变,透视相机模型引入了畸变参数,并通过以下公式对图像坐标进行校正:

x c o r r e c t e d = x ⋅ ( 1 + k 1 ⋅ r 2 + k 2 ⋅ r 4 + k 3 ⋅ r 6 ) + 2 ⋅ p 1 ⋅ x ⋅ y + p 2 ⋅ ( r 2 + 2 ⋅ x 2 ) x_{corrected} = x \cdot (1 + k_1 \cdot r^2 + k_2 \cdot r^4 + k_3 \cdot r^6) + 2 \cdot p_1 \cdot x \cdot y + p_2 \cdot (r^2 + 2 \cdot x^2) xcorrected=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)

y c o r r e c t e d = y ⋅ ( 1 + k 1 ⋅ r 2 + k 2 ⋅ r 4 + k 3 ⋅ r 6 ) + p 1 ⋅ ( r 2 + 2 ⋅ y 2 ) + 2 ⋅ p 2 ⋅ ( x 2 − y 2 ) y_{corrected} = y \cdot (1 + k_1 \cdot r^2 + k_2 \cdot r^4 + k_3 \cdot r^6) + p_1 \cdot (r^2 + 2 \cdot y^2) + 2 \cdot p_2 \cdot (x^2 - y^2) ycorrected=y(1+k1r2+k2r4+k3r6)+p1(r2+2y2)+2p2(x2y2)

其中, x x x y y y 是畸变图像中的原始坐标, x c o r r e c t e d x_{corrected} xcorrected y c o r r e c t e d y_{corrected} ycorrected 是校正后的坐标。 r 2 = x 2 + y 2 r^2 = x^2 + y^2 r2=x2+y2 是畸变图像中点到图像中心(通常是光心在成像平面上的投影)的距离的平方。 k 1 k_1 k1 k 2 k_2 k2 k 3 k_3 k3 是径向畸变系数,用于校正由于镜头形状引起的径向方向的变形; p 1 p_1 p1 p 2 p_2 p2 是切向畸变系数,用于校正由于镜头与成像平面不平行引起的切向方向的变形。

通过相机标定过程,我们可以估计出这些畸变系数,并应用上述公式对图像进行畸变校正,以获得更准确的成像结果。

成像过程

相机的成像过程可以概括为四个坐标系的转换:世界坐标系(UVW)-> 相机坐标系(XYZ)-> 图像坐标系(x, y)-> 像素坐标系(u, v)。

  1. 世界坐标到相机坐标:通过旋转和平移变换(即相机的外部参数),将世界坐标系中的点转换为相机坐标系中的点。

    [ X Y Z 1 ] = [ R t 0 1 ] [ U V W 1 ] \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} = \begin{bmatrix} R & t \\ 0 & 1 \end{bmatrix} \begin{bmatrix} U \\ V \\ W \\ 1 \end{bmatrix} XYZ1 =[R0t1] UVW1

    其中, R \mathbf{R} R是3x3的旋转矩阵, t \mathbf{t} t是3x1的平移向量。

  2. 相机坐标到图像坐标:通过透视投影,将相机坐标系中的点投影到图像坐标系上。这一步仅与焦距f有关。

    x = f ⋅ X Z , y = f ⋅ Y Z x = f \cdot \frac{X}{Z}, \quad y = f \cdot \frac{Y}{Z} x=fZX,y=fZY

  3. 图像坐标到像素坐标:通过仿射变换,将图像坐标系中的点转换为像素坐标系中的点。这一步涉及光心位置、像素分辨率和偏斜角等相机内部参数。

    u = α x + u 0 , v = β y + v 0 u = \alpha x + u_0, \quad v = \beta y + v_0 u=αx+u0,v=βy+v0

    其中, α \alpha α β \beta β是x和y方向上的缩放因子, u 0 u_0 u0 v 0 v_0 v0是图像中心像素坐标。

相机内参和外参

内参

相机内参是描述相机内部特性的参数,它们对相机如何将三维世界中的点映射到二维图像平面上起着关键作用。除了基本的焦距、光心位置和像素分辨率外,内参还包括畸变参数,这些参数用于校正由于相机镜头制造和组装过程中的不完美导致的图像畸变。

内参矩阵K通常表示为:

K = [ f x 0 u 0 0 f y v 0 0 0 1 ] K = \begin{bmatrix} f_x & 0 & u_0 \\ 0 & f_y & v_0 \\ 0 & 0 & 1 \end{bmatrix} K= fx000fy0u0v01

其中, f x f_x fx f y f_y fy 是焦距在图像平面上的等效值,通常与像素的纵横比和物理焦距有关( f x = α ⋅ f f_x = \alpha \cdot f fx=αf f y = β ⋅ f f_y = \beta \cdot f fy=βf),而 u 0 u_0 u0 v 0 v_0 v0 是图像平面的光心坐标(通常是图像的中心,但可能由于制造误差而略有偏移)。

畸变参数通常包括径向畸变和切向畸变系数。径向畸变使图像看起来像是通过一个球形透镜观看,导致图像向中心“收缩”或向外“膨胀”。切向畸变则是由于相机镜头与图像平面不完全平行引起的。畸变参数通常表示为 k 1 , k 2 , k 3 k_1, k_2, k_3 k1,k2,k3(径向畸变)和 p 1 , p 2 p_1, p_2 p1,p2(切向畸变)。

外参

相机外参描述了相机在世界坐标系中的位置和朝向。外参由旋转矩阵 R \mathbf{R} R 和平移向量 t \mathbf{t} t 组成,它们将世界坐标系中的点转换为相机坐标系中的点。

( X c Y c Z c ) = R ( X w Y w Z w ) + t \begin{pmatrix} X_c \\ Y_c \\ Z_c \end{pmatrix} = \mathbf{R} \begin{pmatrix} X_w \\ Y_w \\ Z_w \end{pmatrix} + \mathbf{t} XcYcZc =R XwYwZw +t

这个公式描述了如何将世界坐标系中的三维点 ( X w , Y w , Z w ) (X_w, Y_w, Z_w) (Xw,Yw,Zw) 转换为相机坐标系中的三维点 ( X c , Y c , Z c ) (X_c, Y_c, Z_c) (Xc,Yc,Zc)。其中:

  • R \mathbf{R} R 是3x3的旋转矩阵,表示相机的旋转姿态,它由三个旋转角(如俯仰角、偏航角和滚转角)决定。
  • t \mathbf{t} t 是3x1的平移向量,表示相机在世界坐标系中的位置。

结合内参和外参,可以计算出世界坐标系中的点到图像坐标系(即像素坐标系)的映射关系,这是计算机视觉和机器人学中许多任务(如三维重建、增强现实、运动跟踪等)的基础。

相机标定

相机标定是通过已知的世界坐标和对应的像素坐标,计算相机的内参和外参的过程。标定过程通常涉及以下步骤:

  1. 采集标定图像:使用相机从不同角度拍摄标定板(如棋盘格),确保每张图像中标定板完整且清晰可见。

  2. 检测角点:利用图像处理算法(如OpenCV的cv2.findChessboardCorners)检测每张图像中标定板的角点,并获取这些角点在图像坐标系中的坐标。

  3. 计算内参、畸变参数及外参:利用检测到的角点坐标和已知的标定板角点在世界坐标系中的坐标,通过cv2.calibrateCamera等函数计算相机的内参、畸变参数及外参。

  4. 优化和验证:通过优化算法(如最小二乘法)对计算得到的内参和外参进行进一步优化,以提高标定精度。同时,使用未参与标定的图像对标定结果进行验证,确保标定参数的准确性和可靠性。

  5. 应用标定结果:标定完成后,可以将得到的内参、外参及畸变参数应用于后续的图像处理、三维重建等任务中,以提高处理效果和精度。

畸变校正的示例代码

在相机标定完成后,可以使用计算出的畸变参数对图像进行畸变校正。以下是一个使用OpenCV进行畸变校正的示例代码:

import cv2
import numpy as np# 假设已经计算得到了相机的内参矩阵 mtx 和畸变系数 dist
# 读取一张需要校正的图像
img = cv2.imread('calibration_images/distorted_image.jpg')
h, w = img.shape[:2]# 获取校正映射
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 1, (w, h))# 校正图像
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)# 裁剪图像
x, y, w, h = roi
dst = dst[y:y+h, x:x+w]# 显示校正后的图像
cv2.imshow('Undistorted Image', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

标定误差评估

在标定完成后,通过计算重投影误差来评估标定结果的准确性。重投影误差是指将三维世界坐标点通过标定得到的内参和外参投影到图像平面上的点与实际检测到的图像坐标点之间的距离。较小的重投影误差表明标定精度较高。

mean_error = 0
for i in range(len(objpoints)):imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)error = cv2.norm(imgpoints[i], imgpoints2, cv2.NORM_L2)/len(imgpoints2)mean_error += error
total_error = mean_error/len(objpoints)
print(f"Total re-projection error: {total_error}")

在实际应用中,重投影误差一般要求在亚像素级别(如小于0.5像素),以保证标定结果的可靠性。

相机标定的实际应用场景

相机标定在许多计算机视觉和图像处理任务中具有广泛应用。以下是几个典型的应用场景:

  1. 三维重建:通过标定相机获取精确的内参和外参,可以将二维图像中的点映射到三维空间,从而进行三维模型的重建。

  2. 增强现实(AR):在增强现实应用中,相机标定用于将虚拟物体准确地叠加在真实世界中,实现虚实融合的效果。

  3. 无人驾驶:在无人驾驶技术中,摄像头标定是实现环境感知和障碍物检测的重要步骤,标定的精度直接影响自动驾驶的安全性和可靠性。

结论

本文详细介绍了相机模型、成像过程、内参与外参的概念,以及相机标定的具体步骤和误差评估方法。通过深入理解这些基础知识,可以为计算机视觉和图像处理领域的实际应用奠定坚实的基础。在未来的应用中,这些知识将帮助我们更好地处理复杂的视觉任务,提高系统的整体性能和稳定性。

这篇关于相机模型与成像过程:深入解析相机内参、外参及标定方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1093159

相关文章

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面:本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域