《opencv实用探索·十九》光流法检测运动目标

2023-12-15 22:45
文章标签 opencv 目标 检测 探索 实用 运动 十九 光流法

本文主要是介绍《opencv实用探索·十九》光流法检测运动目标，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言
光流法（Optical Flow）是计算机视觉中的一种技术，用于估计图像中相邻帧之间的像素位移或运动。它是一种用于追踪图像中物体运动的技术，可以在视频中检测并测量物体的运动轨迹。
光流的直观理解：
光流是一个视频中两个连续帧之间的逐像素运动估计任务。基本上，光流任务意味着计算像素的移动向量作为物体在两个相邻图像之间的位移差。光流的主要思想是估计物体运动或摄像机运动引起的物体的位移矢量
在这里插入图片描述

光流法基于以下两个主要假设：

灰度恒定假设（Brightness Constancy Assumption）： 在短时间内，相邻帧中的像素灰度值保持不变。这意味着在相邻帧中，同一物体的灰度值应该是相似的。

空间一致性假设（Spatial Coherence Assumption）： 邻近像素点的运动是相似的。这意味着在一个小的局部区域内，像素点的运动可以通过一个共同的运动向量来描述。

基于这些假设，光流法的目标是计算场景中每个像素点在图像平面上的运动矢量。这些运动矢量描述了像素从一帧到下一帧的位移。
在光流法的实现中，有几种不同的方法，其中最常见的是Lucas-Kanade方法和Horn-Schunck方法。
Lucas-Kanade方法： 该方法基于灰度恒定和空间一致性假设，通过在图像上的局部区域内求解一个线性方程组来计算运动矢量。它假设邻近像素点的运动是相似的，因此在局部区域内使用最小二乘法来估计运动。
Horn-Schunck方法： 该方法通过最小化整个图像上的一个全局能量函数来计算光流场。它对整个图像施加了平滑性的约束，因此在处理相对较大的运动时效果较好。

总体而言，光流法是一种有用的技术，尤其在分析视频中物体的运动、跟踪目标或检测异常事件时。然而，它的性能可能受到场景中运动的复杂性、遮挡、图像噪声等因素的影响，因此在特定应用中需要仔细考虑其局限性。

流光法检测中需要用到的一些函数说明：
（1）cv::goodFeaturesToTrack

void cv::goodFeaturesToTrack(InputArray image, // 输入图像（通常是灰度图像）OutputArray corners, // 输出参数，包含检测到的角点坐标int maxCorners, // 要检测的角点的最大数量double qualityLevel, // 角点的质量水平阈值，范围在0到1之间double minDistance, // 检测到的角点之间的最小欧氏距离。两个角点之间的距离小于该值的角点将被忽略。InputArray mask = noArray(), // 可选参数，用于指定感兴趣区域int blockSize = 3, // 角点检测中使用的邻域区域的大小bool useHarrisDetector = false, // 是否使用Harris角点检测算法，如果为false，则使用Shi-Tomasi角点检测算法double k = 0.04 // Harris角点检测算法的自由参数
);

cv::goodFeaturesToTrack 是OpenCV中用于在图像中检测角点的函数，通常用于计算机视觉中的光流法等任务。这个函数实现了 Shi-Tomasi 角点检测算法，该算法是对 Harris 角点检测算法的改进。
关键参数的设置说明：
maxCorners：如果设置得太小，可能会错过图像中的一些重要角点。如果设置得太大，算法可能检测到冗余的角点，导致性能下降。

qualityLevel：一般情况下设置0.01，较小的 qualityLevel 值会选择图像中质量较高的角点，即灰度梯度变化较为显著的地方。相应地，检测到的角点数量可能相对较少。这个设置适合于希望选择图像中明显特征的情况，例如在纹理较强的区域选择角点。较大的 qualityLevel 值会放宽对角点质量的要求，接受更多的角点，即使它们的质量不太高。这个设置适合于希望检测到更多角点，即使它们的特征不如较高质量的角点明显的情况。

minDistance： 选择通常取决于图像中角点的分布情况。如果图像中的角点密集分布，可以选择较小的值，例如 5-10 像素。如果角点分布较稀疏，可以适当增大该值。

（2）calcOpticalFlowPyrLK（Lucas-Kanade光流算法）

void cv::calcOpticalFlowPyrLK(cv::InputArray prevImg,cv::InputArray nextImg,cv::InputArray prevPts,cv::InputOutputArray nextPts,cv::OutputArray status,cv::OutputArray err,cv::Size winSize = Size(21, 21),int maxLevel = 3,cv::TermCriteria criteria = TermCriteria(TermCriteria::COUNT + TermCriteria::EPS, 30, 0.01),int flags = 0,double minEigThreshold = 1e-4
);

calcOpticalFlowPyrLK 是 OpenCV 库中用于光流计算的函数之一，用于在两幅图像之间计算稀疏特征点的光流。
prevImg: 先前帧的输入图像（灰度图）。
nextImg: 下一帧的输入图像（灰度图）。
prevPts: 先前帧的输入特征点。
nextPts: 输出参数，包含了在下一帧中找到的对应特征点的坐标。
status: 输出参数，标志每个特征点的跟踪状态（1表示成功，0表示失败）。
err: 输出参数，包含每个特征点的误差。
winSize: 搜索窗口的大小。
maxLevel: 金字塔的最大层数。
criteria: 用于迭代优化的终止准则。
flags: 光流计算的选项。
minEigThreshold: 特征值的阈值，用于判断矩阵是否足够良好。

光流法检测基本流程：
（1）获取两幅相邻的图像帧。这两帧图像之间的时间间隔应足够小，以便近似相邻帧之间的物体位移。对图像进行必要的预处理，例如灰度化、去噪、边缘检测等。预处理的目标是提取图像中的特征，以便在不同帧之间匹配。
（2）在两帧图像中检测特征点。常用的特征点包括角点、角落、边缘等。
（3）计算光流场：光流场表示图像中每个像素的位移向量。计算光流场的目标是找到相邻帧中每个特征点的位移。常见的光流计算方法包括：
Lucas-Kanade方法： 假设在一个小的邻域内，光流是基本一致的。通过局部的亮度梯度来估计位移。
Horn-Schunck方法： 基于全局约束的光流计算方法，考虑整个图像中的光流场。
（4）可以将计算得到的光流场可视化，以便观察物体的运动方向和速度。通常使用箭头或其他标记来表示光流向量。

代码示例：

#include <opencv2/opencv.hpp>
#include <iostream>
using namespace cv;
using namespace std;//-----------------------------------【全局函数声明】-----------------------------------------
//		描述：声明全局函数
//-------------------------------------------------------------------------------------------------
void tracking(Mat& frame, Mat& output);//-----------------------------------【全局变量声明】-----------------------------------------
//		描述：声明全局变量
//-------------------------------------------------------------------------------------------------
string window_name = "optical flow tracking";
Mat gray_now;	// 当前图片
Mat gray_prev;	// 预测图片
vector<Point2f> pointsPre;	// 上一帧角点集合
vector<Point2f> pointsNow;  //下一帧角点集合
vector<Point2f> pointsPreTmp;	// 一个临时容器，存放上一帧角点集合
vector<Point2f> features;	// 检测的特征
int maxCount = 500;	// 检测的最大特征数
double qLevel = 0.01;	// 特征检测的等级
double minDist = 10.0;	// 两特征点之间的最小距离
vector<uchar> status;	// 跟踪特征的状态，特征的流发现为1，否则为0
vector<float> err;int main()
{Mat frame;Mat result;VideoCapture capture("1.avi");if (capture.isOpened())	// 摄像头读取文件开关{//获取第一帧图像并保存计算的角点capture >> frame;if (!frame.empty()){cvtColor(frame, gray_prev, COLOR_BGR2GRAY);//角点检测goodFeaturesToTrack(gray_prev, features, maxCount, qLevel, minDist);//存放检测的角点pointsPre.insert(pointsPre.end(), features.begin(), features.end());//临时容器在存放一份角点pointsPreTmp.insert(pointsPreTmp.end(), features.begin(), features.end());}while (true){//循环采取下一帧图像capture >> frame;if (!frame.empty()){tracking(frame, result);}else{printf(" --(!) No captured frame -- Break!");break;}int c = waitKey(50);if ((char)c == 27){break;}}}return 0;
}//-------------------------------------------------------------------------------------------------
// function: tracking
// brief: 跟踪
// parameter: frame	输入的视频帧
//			  output 有跟踪结果的视频帧
// return: void
//-------------------------------------------------------------------------------------------------
void tracking(Mat& frame, Mat& output)
{cvtColor(frame, gray_now, COLOR_BGR2GRAY);frame.copyTo(output);// 添加特征点if (pointsPre.size() <= 10)  //如果角点的数量过少就继续添加{//角点检测goodFeaturesToTrack(gray_prev, features, maxCount, qLevel, minDist);//存放检测的角点pointsPre.insert(pointsPre.end(), features.begin(), features.end());//临时容器在存放一份角点pointsPreTmp.insert(pointsPreTmp.end(), features.begin(), features.end());}//Lucas-Kanade光流法运动估计（pointsNow存放的是估计下一帧gray_now图像中的特征点）calcOpticalFlowPyrLK(gray_prev, gray_now, pointsPre, pointsNow, status, err);// 保留下一帧中估计出的比较好的特征点int k = 0;for (size_t i = 0; i < pointsNow.size(); i++){//设置跟踪点被接受的条件//status[i]：表示第 i 个特征点的跟踪状态，为1表示特征点的流被检测到，为0表示未检测到。//前后两次点的x移动距离 + y移动距离 > 2if (status[i] && ((abs(pointsPre[i].x - pointsNow[i].x) + abs(pointsPre[i].y - pointsNow[i].y)) > 2)){pointsPreTmp[k] = pointsPreTmp[i];   //保留了下一帧好的特征点，那么对应的上一帧同样位置的特征点重新备份到临时容器pointsNow[k++] = pointsNow[i];      //重新对下一帧角点容器进行更新，保存存放的都是好的特征点}}//重新更新两个容器长度pointsNow.resize(k);pointsPreTmp.resize(k);// 显示特征点和运动轨迹for (size_t i = 0; i < pointsNow.size(); i++){line(output, pointsPreTmp[i], pointsNow[i], Scalar(0, 0, 255)); //画出直线起点为上一帧特征点，终点为下一帧特征点circle(output, pointsNow[i], 3, Scalar(0, 255, 0), -1);         //对下一帧特征点标记圆，可以明显看出运动方向}// 采集下一帧图像之前先把当前帧的结果更新到上一帧pointsPre = pointsNow;gray_prev = gray_now.clone();imshow(window_name, output);
}

代码分析：
（1）先采集第一帧当作上一帧，进行角点检测存放到容器
（2）进入while循环开启采集下一帧，通过Lucas-Kanade光流法估计上一帧角点在下一帧的位置
（3）筛选下一帧比较好的角点存放容器
（4）画出上一帧到下一帧路线进行显示
（5）在继续开启下一帧图像采集前把这一帧的结果更新到上一帧容器
（6）开启一个新的循环，先判断上一帧容器角点数量是否充足，不充足则添加，然后重复上述步骤

效果显示：
在这里插入图片描述

这篇关于《opencv实用探索·十九》光流法检测运动目标的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/498187。

相关文章

深入探索协同过滤：从原理到推荐模块案例

深入探索协同过滤：从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤（UserCF）2. 基于物品的协同过滤（ItemCF）3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代，推荐系统成为连接用户与内容的桥梁。本文聚焦于
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集，专门用于烟火目标检测，是一个非常有价值的资源，尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍： 数据集名称：烟火目标检测数据集 数据集规模： 图片数量：7800张类别：主要包含烟火类目标，可能还包括其他相关类别，如烟火发射装置、背景等。格式：图像文件通常为JPEG或PNG格式；标注文件可能为X
阅读更多...
基于 YOLOv5 的积水检测系统：打造高效智能的智慧城市应用

基于 YOLOv5 的积水检测系统：打造高效智能的智慧城市应用

在城市发展中，积水问题日益严重，特别是在大雨过后，积水往往会影响交通甚至威胁人们的安全。通过现代计算机视觉技术，我们能够智能化地检测和识别积水区域，减少潜在危险。本文将介绍如何使用 YOLOv5 和 PyQt5 搭建一个积水检测系统，结合深度学习和直观的图形界面，为用户提供高效的解决方案。 源码地址： PyQt5+YoloV5 实现积水检测系统 预览： 项目背景
阅读更多...
opencv 滚动条

opencv 滚动条

参数介绍:createTrackbar( trackbarname , "hello" , &alpha_slider ,alpha_max ,  on_trackbar )  ;在标签中显示的文字（提示滑动条的用途） TrackbarName创建的滑动条要放置窗体的名字 “hello”滑动条的取值范围从 0 到 alpha_max (最小值只能为 zero).滑动后的值存放在
阅读更多...
android-opencv-jni

android-opencv-jni

//------------------start opencv--------------------@Override public void onResume(){ super.onResume(); //通过OpenCV引擎服务加载并初始化OpenCV类库，所谓OpenCV引擎服务即是 //OpenCV_2.4.3.2_Manager_2.4_*.apk程序包，存
阅读更多...
JavaFX应用更新检测功能（在线自动更新方案）

JavaFX应用更新检测功能（在线自动更新方案）

JavaFX开发的桌面应用属于C端，一般来说需要版本检测和自动更新功能，这里记录一下一种版本检测和自动更新的方法。 1. 整体方案 JavaFX.应用版本检测、自动更新主要涉及一下步骤： 读取本地应用版本拉取远程版本并比较两个版本如果需要升级，那么拉取更新历史弹出升级控制窗口用户选择升级时，拉取升级包解压，重启应用用户选择忽略时，本地版本标志为忽略版本用户选择取消时，隐藏升级控制窗口 2.
阅读更多...
AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代，文本到语音（Text-to-Speech, TTS）技术已成为人机交互的关键桥梁，无论是为视障人士提供辅助阅读，还是为智能助手注入声音的灵魂，TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术，再到现今的深度学习解决方案，TTS 技术经历了一段长足的进步。这篇文章将带您穿越时
阅读更多...
OpenCV结构分析与形状描述符（11）椭圆拟合函数fitEllipse()的使用

OpenCV结构分析与形状描述符（11）椭圆拟合函数fitEllipse()的使用

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C++11 算法描述 围绕一组2D点拟合一个椭圆。 该函数计算出一个椭圆，该椭圆在最小二乘意义上最好地拟合一组2D点。它返回一个内切椭圆的旋转矩形。使用了由[90]描述的第一个算法。开发者应该注意，由于数据点靠近包含的 Mat 元素的边界，返回的椭圆/旋转矩形数据
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2