张氏标定法openCV实现单目相机

2024-01-20 08:20

本文主要是介绍张氏标定法openCV实现单目相机,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原理:

什么是相机标定的内外参:

一文带你搞懂相机内参外参(Intrinsics & Extrinsics) - 知乎Yanjie Ze, July 14 2021 摘要:本文介绍了相机的内参和外参以及推导过程,由三个部分组成:第一部分,相机内参; 第二部分,相机外参;第三部分,总结。 1 相机内参在左图中,我们把相机看作是针孔,现实世界中的…https://zhuanlan.zhihu.com/p/389653208相机标定的畸变以及张正友标定法:相机标定的基本原理与经验分享_哔哩哔哩_bilibili收到3D视觉工坊公众号的邀请做了一次分享,这是20200322直播的录播视频,讲解了相机标定的基本原理和我的一些实战经验分享,对于刚入门的同学会有很大的帮助。时间较长,但是干货满满。第一次讲公开课比较紧张,也是连续讲了有100分钟,可能有时候口胡,请多见谅啦。如果有任何意见和建议,可以在弹幕和评论区友善交流。, 视频播放量 32705、弹幕量 362、点赞数 707、投硬币枚数 516、收藏人数 2035、转发人数 181, 视频作者 fighterpilot0, 作者简介 机械工程博士 分享专业知识与兴趣爱好,相关视频:3.1 相机标定的基本概念,三维重建第七课:相机标定代码讲解,【计算机视觉】相机标定/双目测距/Camera Calibration,单目相机标定总结及实战,双相机标定及计算,【3D视觉工坊】第二期公开课:相机标定的基本原理与经验分享,【相机入门01】用珍珠奶茶理解光圈快门ISO,5分钟学会摄影曝光基础,【20分钟搞懂】数码相机全部参数!!!快门、光圈、iso、景深、虚化、躁点、高感、底大和底小的各自优势等等,基于深度学习的垃圾分类【保姆级教程】,相机标定之带你推张正友标定方法https://www.bilibili.com/video/BV1eE411c7kr/?spm_id_from=333.337.search-card.all.click&vd_source=a8464fe2c290cfb1b1ac3c3bd4733ad2

流程:

1.  拍摄棋盘格各个角度十几二十张图像;

2.  openCV函数findChessboardCorners(image,patternSize,corners,flags = None)提取角点,其         中参数image表示输入图,pattenSize为棋盘格内角点每行每列个数,corners检测到的角点输         出保存数组。

3.  步骤2提取的整数坐标角点是不精确的,需要进行亚像素精确化,采用openCV函数                         cornerSubPix(image,corners,winSize,zeroZone,criteria),image:输入;corners:角点数             组,既是输入也是输出;winSize:计算亚像素点时考虑的范围;zeroSize:类似于winSize,         但是总是具有较小的范围,通常忽略(即Size(-1, -1));criteria停止优化的标准。

4.  初始化标定板上的三维坐标,假设标定板放在世界坐标系的z=0的平面上。

5.  利用openCV函数calibrateCamera(object_points, image_points_seq, image_size,                           cameraMatrix, distCoeffs, rvecsMat, tvecsMat, 0)进行标定,其中1. object_points标定板上角         点三维坐标;  2. image_points_seq检测到的角点;  3.image_size图像尺寸;  4.                           cameraMatrix内参矩阵  5.distCoeffs五个畸变系数k1,k2,k3,p1,p2;6. rvecsMat平移向量;  7.       tvecsMat旋转向量,可以得到旋转矩阵。

相机标定的目的是矫正畸变以及后续的场景重建(双目相机标定)。

// zhang's method.cpp: 定义控制台应用程序的入口点。
//#include "stdafx.h"
#include "opencv2/core/core.hpp"  
#include "opencv2/imgproc/imgproc.hpp"  
#include "opencv2/calib3d/calib3d.hpp"  
#include "opencv2/highgui/highgui.hpp"  
#include <iostream>  
#include <fstream>
#include <iomanip>using namespace cv;
using namespace std;void main()
{ifstream fin("calibdata.txt"); /* 标定所用图像文件的路径 */ofstream fout("caliberation_result.txt");  /* 保存标定结果的文件 *///读取每一幅图像,从中提取出角点,然后对角点进行亚像素精确化   cout << "开始提取角点………………";int image_count = 0;  /* 图像数量 */Size image_size;  /* 图像的尺寸 */Size board_size = Size(9, 6);    /* 标定板上每行、列的角点数 */vector<Point2f> image_points_buf;  /* 缓存每幅图像上检测到的角点 */vector<vector<Point2f>> image_points_seq; /* 保存检测到的所有角点 */string filename;int count = 0;//用于存储角点个数。  while (getline(fin, filename)){image_count++;// 用于观察检验输出  cout << "image_count = " << image_count << endl;//cout << "-->count = " << count<<endl;Mat imageInput = imread(filename);if (image_count == 1)  //读入第一张图片时获取图像宽高信息  {image_size.width = imageInput.cols;image_size.height = imageInput.rows;cout << "image_size.width = " << image_size.width << endl;cout << "image_size.height = " << image_size.height << endl;}/* 提取角点 */if (0 == findChessboardCorners(imageInput, board_size, image_points_buf)){cout << "can not find chessboard corners!\n"; //找不到角点  exit(1);}else{Mat view_gray;cvtColor(imageInput, view_gray, CV_RGB2GRAY);/* 亚像素精确化 */cornerSubPix(view_gray, image_points_buf, Size(5, 5), Size(-1, -1), TermCriteria(CV_TERMCRIT_EPS + CV_TERMCRIT_ITER, 30, 0.1));//亚像素精确化方法二//Size(5,5)是搜索窗口的大小,Size(-1,-1)表示没有死区//第四个参数定义求角点的迭代过程的终止条件,可以为迭代次数和角点精度两者的组合count += image_points_buf.size();image_points_seq.push_back(image_points_buf);//保存亚像素角点drawChessboardCorners(view_gray, board_size, image_points_buf, false);//用于绘制被成功标定的角点,输入8位灰度或者彩色图像//第四个参数是标志位,用来指示定义的棋盘内角点是否被完整的探测到//false表示有未被探测到的内角点,这时候函数会以圆圈标记出检测到的内角点namedWindow("Camera Calibration", WINDOW_NORMAL);imshow("Camera Calibration", view_gray);//显示图片waitKey(500);    }}int total = image_points_seq.size();cout << "total = " << total << endl;int CornerNum = board_size.width*board_size.height;  //每张图片上总的角点数  for (int ii = 0; ii<total; ii++){if (0 == ii % CornerNum)// 54 是每幅图片的角点个数。此判断语句是为了输出 图片号,便于控制台观看   {int i = -1;i = ii / CornerNum;int j = i + 1;cout << "--> 第 " << j << "图片的数据 --> : " << endl;}if (0 == ii % 3)  // 此判断语句,格式化输出,便于控制台查看  {cout << endl;}else{cout.width(10);}//输出所有图片的第一个角点  cout << " -->" << image_points_seq[ii][0].x;cout << " -->" << image_points_seq[ii][0].y;}cout << "角点提取完成!\n";//以下是摄像机标定  cout << "开始标定………………";/*棋盘三维信息*/Size square_size = Size(10, 10);  /* 实际测量得到的标定板上每个棋盘格的大小 */vector<vector<Point3f>> object_points; /* 保存标定板上角点的三维坐标 *//*内外参数*/Mat cameraMatrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 摄像机内参数矩阵 */vector<int> point_counts;  // 每幅图像中角点的数量  Mat distCoeffs = Mat(1, 5, CV_32FC1, Scalar::all(0)); /* 摄像机的5个畸变系数:k1,k2,p1,p2 */vector<Mat> tvecsMat;  /* 每幅图像的旋转向量 */vector<Mat> rvecsMat; /* 每幅图像的平移向量 *//* 初始化标定板上角点的三维坐标 */int i, j, t;for (t = 0; t<image_count; t++){vector<Point3f> tempPointSet;for (i = 0; i<board_size.height; i++){for (j = 0; j<board_size.width; j++){Point3f realPoint;/* 假设标定板放在世界坐标系中z=0的平面上 */realPoint.x = i * square_size.width;realPoint.y = j * square_size.height;realPoint.z = 0;tempPointSet.push_back(realPoint);}}object_points.push_back(tempPointSet);}/* 初始化每幅图像中的角点数量,假定每幅图像中都可以看到完整的标定板 */for (i = 0; i<image_count; i++){point_counts.push_back(board_size.width*board_size.height);}/* 开始标定 *///calibrateCamera参数介绍://1. object_points标定板上角点三维坐标  2. image_points_seq检测到的角点  3. 图像尺寸  4. cameraMatrix内参矩阵  5. distCoeffs五个畸变系数k1,k2,k3,p1,p2//6. rvecsMat平移向量  7. tvecsMat旋转向量,可以得到旋转矩阵calibrateCamera(object_points, image_points_seq, image_size, cameraMatrix, distCoeffs, rvecsMat, tvecsMat, 0);cout << "标定完成!\n";//对标定结果进行评价  cout << "开始评价标定结果………………\n";double total_err = 0.0; /* 所有图像的平均误差的总和 */double err = 0.0; /* 每幅图像的平均误差 */vector<Point2f> image_points2; /* 保存重新计算得到的投影点 */cout << "\t每幅图像的标定误差:\n";fout << "每幅图像的标定误差:\n";for (i = 0; i<image_count; i++){vector<Point3f> tempPointSet = object_points[i];/* 通过得到的摄像机内外参数,对空间的三维点进行重新投影计算,得到新的投影点 */projectPoints(tempPointSet, rvecsMat[i], tvecsMat[i], cameraMatrix, distCoeffs, image_points2);/* 计算新的投影点和旧的投影点之间的误差*/vector<Point2f> tempImagePoint = image_points_seq[i];Mat tempImagePointMat = Mat(1, tempImagePoint.size(), CV_32FC2);Mat image_points2Mat = Mat(1, image_points2.size(), CV_32FC2);for (int j = 0; j < tempImagePoint.size(); j++){image_points2Mat.at<Vec2f>(0, j) = Vec2f(image_points2[j].x, image_points2[j].y);tempImagePointMat.at<Vec2f>(0, j) = Vec2f(tempImagePoint[j].x, tempImagePoint[j].y);}err = norm(image_points2Mat, tempImagePointMat, NORM_L2);total_err += err /= point_counts[i];std::cout << "第" << i + 1 << "幅图像的平均误差:" << err << "像素" << endl;fout << "第" << i + 1 << "幅图像的平均误差:" << err << "像素" << endl;}std::cout << "总体平均误差:" << total_err / image_count << "像素" << endl;fout << "总体平均误差:" << total_err / image_count << "像素" << endl << endl;std::cout << "评价完成!" << endl;//保存定标结果      std::cout << "开始保存定标结果………………" << endl;Mat rotation_matrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 保存每幅图像的旋转矩阵 */fout << "相机内参数矩阵:" << endl;fout << cameraMatrix << endl << endl;fout << "畸变系数:\n";fout << distCoeffs << endl << endl << endl;for (int i = 0; i<image_count; i++){fout << "第" << i + 1 << "幅图像的旋转向量:" << endl;fout << tvecsMat[i] << endl;/* 将旋转向量转换为相对应的旋转矩阵 */Rodrigues(tvecsMat[i], rotation_matrix);fout << "第" << i + 1 << "幅图像的旋转矩阵:" << endl;fout << rotation_matrix << endl;fout << "第" << i + 1 << "幅图像的平移向量:" << endl;fout << rvecsMat[i] << endl << endl;}std::cout << "完成保存" << endl;fout << endl;/************************************************************************显示定标结果*************************************************************************/Mat mapx = Mat(image_size, CV_32FC1);Mat mapy = Mat(image_size, CV_32FC1);Mat R = Mat::eye(3, 3, CV_32F);cout << "保存矫正图像" << endl;string imageFileName;std::stringstream StrStm;for (int i = 1; i <= image_count; i++){cout << "Frame # " << i  << "....." << endl;initUndistortRectifyMap(cameraMatrix, distCoeffs, R, cameraMatrix,image_size, CV_32FC1, mapx, mapy);//用来计算畸变映射StrStm.clear();//清除缓存imageFileName.clear();string filePath = "left";StrStm << setw(2) << setfill('0') << i ;StrStm >> imageFileName;filePath += imageFileName;filePath += ".jpg";//获取图片路径Mat imageSource = imread(filePath);//读取图像Mat newimage = imageSource.clone();//拷贝图像remap(imageSource, newimage, mapx, mapy, INTER_LINEAR);//把求得的映射应用到图像上//与initUndistortRectifyMap结合使用,为矫正方法之一//undistort(imageSource,newimage,cameraMatrix,distCoeffs);//矫正方法二//第五个参数newCameraMatrix=noArray(),默认跟cameraMatrix保持一致,故可省imageFileName += "_d.jpg";//矫正后图片命名imwrite(imageFileName, newimage);//保存矫正后的图片imshow("Original Image", imageSource);waitKey(500);//暂停0.5simshow("Undistorted Image",newimage);waitKey(500);}fin.close();fout.close();getchar();//等待输入以退出return;
}

这篇关于张氏标定法openCV实现单目相机的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/625357

相关文章

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组