LK光流法和LK金字塔光流法(含python和c++代码示例)

2023-10-25 01:28

本文主要是介绍LK光流法和LK金字塔光流法(含python和c++代码示例),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

0 引言

本文主要记录LK光流算法及LK金字塔光流算法的详细原理,最后还调用OpenCV中的cv2.calcOpticalFlowPyrLK()函数实现LK金字塔光流算法,其中第3部分是python语言实现版本,第4部分是c++语言实现版本。

1 LK光流算法

1.1 简述

LK光流法是一种计算图像序列中物体运动的光流(optical flow)的经典算法。它是由Bruce D. LucasTakeo Kanade1981年提出的,被广泛应用于计算机视觉和图像处理领域。

光流是指图像中物体在时间上的运动造成的像素强度变化。光流法的目标是通过分析图像序列中相邻帧之间的像素强度变化来估计物体的运动状况LK光流法基于以下三个基本假设

  1. 亮度恒定假设:假设相邻帧中的像素在时间上的变化主要由物体的运动引起,而不是由光照变化或物体的颜色变化引起。这意味着在物体的运动下,相邻帧中对应的像素强度值应该保持不变;
  2. 小运动假设:假设物体在相邻帧之间的运动是较小的,即相邻帧之间的像素位移较小。这个假设使得可以使用局部近似的方法来估计光流;
  3. 空间一致性:场景中相同表面的相邻点具有相似的运动,并且其投影到图像平面上的距离也比较近。(LK算法特有)

1.2 原理推导

首先基于亮度恒定假设小运动假设,设 t t t时刻,位于 ( x , y ) (x,y) (x,y)像素位置的物体,且在 t + Δ t t+\Delta _t t+Δt时刻位于 ( x + u , y + v ) (x+u,y+v) (x+u,y+v)位置,则有:

I ( x , y , t ) = I ( x + u , y + v , t + Δ t ) (1) I(x,y,t)=I(x+u,y+v,t+\Delta _t) \tag{1} I(x,y,t)=I(x+u,y+v,t+Δt)(1)

将等式右边进行一阶泰勒展开得:

I ( x + u , y + v , t + Δ t ) = I ( x , y , t ) + I x ′ u + I y ′ v + I t ′ Δ t (2) I(x+u,y+v,t+\Delta _t)=I(x,y,t)+I{}'_xu+I{}'_yv+I{}'_t\Delta _t \tag{2} I(x+u,y+v,t+Δt)=I(x,y,t)+Ixu+Iyv+ItΔt(2)

结合公式1公式2,得出:

I ( x , y , t ) = I ( x , y , t ) + I x ′ u + I y ′ v + I t ′ Δ t (3) I(x,y,t)=I(x,y,t)+I{}'_xu+I{}'_yv+I{}'_t\Delta _t \tag{3} I(x,y,t)=I(x,y,t)+Ixu+Iyv+ItΔt(3)

即:

I x ′ u + I y ′ v + I t ′ Δ t = 0 (4) I{}'_xu+I{}'_yv+I{}'_t\Delta _t=0 \tag{4} Ixu+Iyv+ItΔt=0(4)

公式4写成矩阵形式

[ I x ′ + I y ′ ] [ u v ] = − I t ′ Δ t = − Δ I t (5) \begin{bmatrix}I{}'_x+I{}'_y\end{bmatrix}\begin{bmatrix}u \\ v\end{bmatrix}=-I{}'_t\Delta _t=-\Delta I_t \tag{5} [Ix+Iy][uv]=ItΔt=ΔIt(5)

其中, I x ′ , I y ′ I{}'_x,I{}'_y Ix,Iy分别为 ( x , y ) (x,y) (x,y)像素点处图像亮度在 x x x方向和 y y y方向的偏导数

I t ′ I{}'_t It t t t时刻, ( x , y ) (x,y) (x,y)处像素亮度对时间的导数

I t ′ Δ t I{}'_t\Delta _t ItΔt为两图之间的 ( x , y ) (x,y) (x,y)坐标位置的亮度差,表示为 Δ I t = I t ′ Δ t \Delta I_t=I{}'_t\Delta _t ΔIt=ItΔt

给定两张图片, I x ′ , I y ′ , Δ I t I{}'_x,I{}'_y,\Delta I_t Ix,Iy,ΔIt是已知量, u , v u,v u,v即是待求的光流,但仅凭公式5一个等式求解两个未知数 u , v u,v uv暂时无法得到唯一解

所以还需借助第三个假设-空间一致性,假设在一个大小为 m × m ( n = m 2 ) m\times m(n=m^2) m×m(n=m2)的窗口内,图像的光流是一个恒定值,可得:

I x 1 u + I y 1 v = − I t 1 I x 2 u + I y 2 v = − I t 2 ⋯ I x n u + I y n v = − I t n (6) \begin{gather} I_{x1}u+I_{y1}v=-I_{t1} \\ I_{x2}u+I_{y2}v=-I_{t2} \\ \cdots \\ I_{xn}u+I_{yn}v=-I_{tn} \\ \end{gather} \tag{6} Ix1u+Iy1v=It1Ix2u+Iy2v=It2Ixnu+Iynv=Itn(6)

矩阵形式表示为:

[ I x 1 + I y 1 I x 2 + I y 2 ⋮ I x n + I y n ] [ u v ] = [

这篇关于LK光流法和LK金字塔光流法(含python和c++代码示例)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/279092

相关文章

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<

C++包装器

包装器 在 C++ 中,“包装器”通常指的是一种设计模式或编程技巧,用于封装其他代码或对象,使其更易于使用、管理或扩展。包装器的概念在编程中非常普遍,可以用于函数、类、库等多个方面。下面是几个常见的 “包装器” 类型: 1. 函数包装器 函数包装器用于封装一个或多个函数,使其接口更统一或更便于调用。例如,std::function 是一个通用的函数包装器,它可以存储任意可调用对象(函数、函数

C++11第三弹:lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页: 南桥几晴秋 🌈C++专栏: 南桥谈C++ 🌈C语言专栏: C语言学习系列 🌈Linux学习专栏: 南桥谈Linux 🌈数据结构学习专栏: 数据结构杂谈 🌈数据库学习专栏: 南桥谈MySQL 🌈Qt学习专栏: 南桥谈Qt 🌈菜鸡代码练习: 练习随想记录 🌈git学习: 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

06 C++Lambda表达式

lambda表达式的定义 没有显式模版形参的lambda表达式 [捕获] 前属性 (形参列表) 说明符 异常 后属性 尾随类型 约束 {函数体} 有显式模版形参的lambda表达式 [捕获] <模版形参> 模版约束 前属性 (形参列表) 说明符 异常 后属性 尾随类型 约束 {函数体} 含义 捕获:包含零个或者多个捕获符的逗号分隔列表 模板形参:用于泛型lambda提供个模板形参的名

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss