参考语言特征的多目标跟踪----RMOT(Referring Multi-Object Tracking)

本文主要是介绍参考语言特征的多目标跟踪----RMOT(Referring Multi-Object Tracking),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近看完了一篇关于有参考的多目标的文章,因此来写一些心得,既作为分享也作为自己的记录,如果有理解的不对的地方,希望大家能帮忙指出。
本文介绍的文章链接:https://arxiv.org/abs/2303.03366#:~:text=Existing%20referring%20understanding%20tasks%20tend%20to%20involve%20the,cue%20to%20guide%20the%20prediction%20of%20multi-object%20tracking.

1 基本介绍

本篇文章是cvpr2023年最新的文章,主要核心内容是通过语言特征来指导多目标跟踪。文章的主要贡献如下:

  1. 提出了Referring Multi-Object Tracking的概念,即有参考的多目标跟踪。
  2. 为RMOT建立了新的基准数据集----Reffer KITTI
  3. 提出在ROMT上表现出色的框架----TranMOT

在下文中将主要对论文中的2、3点贡献详细介绍

2 reffer KITTI

为了加快 RMOT 的开发,作者构建了一个关于交通场景的新基准,即 Refer-KITTI。它是从公共 KITTI数据集开发的。与现有的参考理解数据集相比,它具有三个显着特征:(1)对指称对象的高度灵活性。每个表达式描述的对象数量从 0 到 105,平均为 10.7。(2) 高时间动态。目标的时间状态覆盖了更长的时间和更多的帧(在 0∼400 帧之间变化),并且使用作者的标记工具可以准确捕获目标的时间变化。 (3) 数据集注释的低成本。作者提供了一种简单的标记工具,只需单击两次即可注释目标轨迹。
注释数据集的过程如下图所示,根据描述单击目标的开始帧和结束帧就能得到该目标一整段视频的标签:
在这里插入图片描述

关于数据集的部分例子如下图所示:
在这里插入图片描述

3 TransMOT

顾名思义,文章提出的框架是以transformer为基础的,整体的框架图如下图所示:
在这里插入图片描述
整个框架分为四部分:特征提取、编码器(多模态特征融合)、解码器、参考头。
在特征提取部分,CNN提取每一帧图像的特征图,预训练的语言模型提取语言特征。其中Ilt代表第t帧图像的第l层特征图;S代表提取的语言特征。为了进行多模态融合,在输入encoder之前,需要对IltS进行处理。其中用1×1卷积对Ilt进行降维,再进一步处理为二阶张量,即矩阵,最终输入Enconder的Ilt形式为:Ilt∈RHW×d此处d=256。语言特征R原本为二维向量,为了保证语言特征和图像特征通道数相同,用全连接层将语言特征进行投影。处理完后将两个矩阵输入Enconder中进行融合,融合过程如下图所示:
融合过程

其中PV和PL分别是视觉特征和语言特征的位置信息编码,QKV的计算和transformer中差不多,得出注意力模块后与视觉特征进行相加,得到融合后的特征,将融合后的特征放在deformable encoder中得到最终的嵌入:Elt,也就是下一阶段解码器的输入。整个过程的公式如下所示:
在这里插入图片描述

在这里插入图片描述
接下来就是解码部分,目标跟踪的实现也是在这一部分。首先要了解在解码部分解码器有两个输入,其中一个是上一阶段得到的多模态融合后的嵌入Elt,而另一个则是一种可学习查询Q,这个Q在DETR框架中有对应解释:用可学习查询来探测编码特征以生成实例嵌入。在这里我将Q理解为检测,即Q和输入的Elt结合得出decoder的输出。而为了能够关联上一帧的目标来实现目标跟踪,作者提出了一种方法:将上一帧decoder的输出作为下一帧decoder的输入,并且加入一个空白查询,即图中的Qdet,来检测当前帧中新目标的出现,从而实现目标跟踪。公式如下所示:
在这里插入图片描述
(这一部分说的不是很清晰,因为我自己也没有真正理解透彻,如果有大神有更好的见解,请多指教)
最后将解码后的Dt输入参考头,整个流程就结束了,参考头中主要有以下作用,如图:
在这里插入图片描述
至此,整个框架的流程就结束了。

4 总结

由于本人是一名小白,许多地方写的不清晰甚至有错误,希望大家能在评论区指出,后续我也会继续分享关于这篇文章更深一步的理解,比如一些损失值的计算和论文的代码理解等,感谢大家的耐心阅读。

这篇关于参考语言特征的多目标跟踪----RMOT(Referring Multi-Object Tracking)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/191423

相关文章

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整

一文详解SQL Server如何跟踪自动统计信息更新

《一文详解SQLServer如何跟踪自动统计信息更新》SQLServer数据库中,我们都清楚统计信息对于优化器来说非常重要,所以本文就来和大家简单聊一聊SQLServer如何跟踪自动统计信息更新吧... SQL Server数据库中,我们都清楚统计信息对于优化器来说非常重要。一般情况下,我们会开启"自动更新

C语言字符函数和字符串函数示例详解

《C语言字符函数和字符串函数示例详解》本文详细介绍了C语言中字符分类函数、字符转换函数及字符串操作函数的使用方法,并通过示例代码展示了如何实现这些功能,通过这些内容,读者可以深入理解并掌握C语言中的字... 目录一、字符分类函数二、字符转换函数三、strlen的使用和模拟实现3.1strlen函数3.2st

Go语言中最便捷的http请求包resty的使用详解

《Go语言中最便捷的http请求包resty的使用详解》go语言虽然自身就有net/http包,但是说实话用起来没那么好用,resty包是go语言中一个非常受欢迎的http请求处理包,下面我们一起来学... 目录安装一、一个简单的get二、带查询参数三、设置请求头、body四、设置表单数据五、处理响应六、超

C语言中的浮点数存储详解

《C语言中的浮点数存储详解》:本文主要介绍C语言中的浮点数存储详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、首先明确一个概念2、接下来,讲解C语言中浮点型数存储的规则2.1、可以将上述公式分为两部分来看2.2、问:十进制小数0.5该如何存储?2.3 浮点

基于Python实现多语言朗读与单词选择测验

《基于Python实现多语言朗读与单词选择测验》在数字化教育日益普及的今天,开发一款能够支持多语言朗读和单词选择测验的程序,对于语言学习者来说无疑是一个巨大的福音,下面我们就来用Python实现一个这... 目录一、项目概述二、环境准备三、实现朗读功能四、实现单词选择测验五、创建图形用户界面六、运行程序七、