视频行人搜索 (Person Search in Videos)

2024-06-11 20:04

本文主要是介绍视频行人搜索 (Person Search in Videos),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 视频行人搜索 (Person Search in Videos)
    • 图像行人搜索
    • 存在问题
    • Video PS 定义
    • MTA-PS数据集
      • First person search dataset in videos
      • Complicated ambient conditions and realistic monitoring scenarios
      • Privacy insensitivity
    • 方法

视频行人搜索 (Person Search in Videos)

MTA-PS: TOWARDS PRACTICAL PERSON SEARCH IN VIDEOS论文已被 ICIP2024 接收。
代码地址:MTA-PS
论文和数据集链接将会更新。

图像行人搜索

Person Search(行人搜索,PS)旨在从自然的、未经裁剪的图像中同时定位和识别目标人物。

存在问题

  • 图像与现实的差距:现有的PS数据集和研究工作大多基于个人图像,在现实世界中的监控场景实用性有限。尽管行人搜索在两个广泛使用的数据集(即 CUHK-SYSU 和 PRW)上取得了显着进展,但它们都仅由图像组成,导致与现实世界视频监控场景的偏差,以及在实际视频监控系统中需要克服更多挑战。

  • 视频相对图像的优势:与静态图像相比,视频提供额外的时间信息,可以更好的克服遮挡形变等图像难以解决的问题,使从视频中搜索目标人物的轨迹更真实、更准确。

  • 视频数据集的缺失:为了促进视频行人搜索的发展,数据集需要提供全面的GT,特别是在所有摄像机上一致的id。这样的数据不仅难以注释,而且可能违反当前或未来的数据保护权利。例如,杜克大学在2014年提出的一个流行的数据集DukeMTMC作为校园监控视频数据集,在2019年因隐私问题而被禁用。

Video PS 定义

给定目标人的查询图像,我们的目标是搜索目标人物在视频图库中出现的位置,并获得目标人物沿视频序列的完整时间轨迹。

MTA-PS数据集

一个标准的基于视频的人物搜索数据集应该满足以下要求:首先,这些摄像机应该在同一个大场景中,摄像机之间有一些重叠。其次,我们需要确保绝大多数人至少出现在两个摄像头中。通过这种方式,我们可以为出现在多个摄像机中的每个人从其中一个摄像机中选择一个帧作为查询。
在这里插入图片描述

First person search dataset in videos

在这里,我们介绍一个新的数据集,名为MTA-PS,这是第一个视频行人搜索数据集。我们的MTA- ps数据集是基于一个大规模的虚拟数据集MTA中的视频帧和身份标签构建的。MTA数据集记录在侠盗猎车手5 (GTA5)虚拟世界的一小部分,提供了高度的真实感和细节。

Complicated ambient conditions and realistic monitoring scenarios

因此,我们新引入的MTA-PS数据集包含295.2K图像帧,7.2M边界框和1.8K身份,这些图像帧来自6台摄像机和41 FPS的60个视频。MTA-PS考虑了重叠和非重叠摄像机、夜间和白天、室内和室外区域以及不同程度的拥挤,这使得数据集更具挑战性。与现有广泛使用的视频数据集相比,我们的MTAPS数据集在各方面覆盖的多样性程度更高,更具挑战性,更接近实际应用场景,如表1所示。我们将MTA-PS数据集的关键特征总结如下。
在这里插入图片描述

Privacy insensitivity

虚拟数据集克服隐私问题。

方法

为了验证视频行人搜索的有效性,并充分利用我们数据集上的时间信息,我们还通过无缝集成人物检测、跟踪和重新识别三个子任务,提出了一个新的框架。
在这里插入图片描述
由于性能优异,我们采用了最近提出的ByteTrack作为我们的基网。首先,将由多个视频组成的视频库馈送到主干。然后,分类头、回归头、IoU头和re-ID头共同工作,得到每帧中每个人的边界框和re-ID特征。然后进行数据关联和运动预测,将视频库中的每个行人边界框进行关联,得到每个人的轨迹和相应的特征。同时,保留视频中每个人的时间特征,并与每个人的re-ID特征融合,得到每个人ID对应的特征。然后,我们计算这些特征与查询人特征之间的相似度。最后,从视频库中提取目标人物在不同摄像机下的运动轨迹。

这篇关于视频行人搜索 (Person Search in Videos)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1052157

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

hdu1240、hdu1253(三维搜索题)

1、从后往前输入,(x,y,z); 2、从下往上输入,(y , z, x); 3、从左往右输入,(z,x,y); hdu1240代码如下: #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#inc

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

hdu 4517 floyd+记忆化搜索

题意: 有n(100)个景点,m(1000)条路,时间限制为t(300),起点s,终点e。 访问每个景点需要时间cost_i,每个景点的访问价值为value_i。 点与点之间行走需要花费的时间为g[ i ] [ j ] 。注意点间可能有多条边。 走到一个点时可以选择访问或者不访问,并且当前点的访问价值应该严格大于前一个访问的点。 现在求,从起点出发,到达终点,在时间限制内,能得到的最大

AI基础 L9 Local Search II 局部搜索

Local Beam search 对于当前的所有k个状态,生成它们的所有可能后继状态。 检查生成的后继状态中是否有任何状态是解决方案。 如果所有后继状态都不是解决方案,则从所有后继状态中选择k个最佳状态。 当达到预设的迭代次数或满足某个终止条件时,算法停止。 — Choose k successors randomly, biased towards good ones — Close

hdu4277搜索

给你n个有长度的线段,问如果用上所有的线段来拼1个三角形,最多能拼出多少种不同的? import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;

《x86汇编语言:从实模式到保护模式》视频来了

《x86汇编语言:从实模式到保护模式》视频来了 很多朋友留言,说我的专栏《x86汇编语言:从实模式到保护模式》写得很详细,还有的朋友希望我能写得更细,最好是覆盖全书的所有章节。 毕竟我不是作者,只有作者的解读才是最权威的。 当初我学习这本书的时候,只能靠自己摸索,网上搜不到什么好资源。 如果你正在学这本书或者汇编语言,那你有福气了。 本书作者李忠老师,以此书为蓝本,录制了全套视频。 试

SAM2POINT:以zero-shot且快速的方式将任何 3D 视频分割为视频

摘要 我们介绍 SAM2POINT,这是一种采用 Segment Anything Model 2 (SAM 2) 进行零样本和快速 3D 分割的初步探索。 SAM2POINT 将任何 3D 数据解释为一系列多向视频,并利用 SAM 2 进行 3D 空间分割,无需进一步训练或 2D-3D 投影。 我们的框架支持各种提示类型,包括 3D 点、框和掩模,并且可以泛化到不同的场景,例如 3D 对象、室

树莓派5_opencv笔记27:Opencv录制视频(无声音)

今日继续学习树莓派5 8G:(Raspberry Pi,简称RPi或RasPi)  本人所用树莓派5 装载的系统与版本如下:  版本可用命令 (lsb_release -a) 查询: Opencv 与 python 版本如下: 今天就水一篇文章,用树莓派摄像头,Opencv录制一段视频保存在指定目录... 文章提供测试代码讲解,整体代码贴出、测试效果图 目录 阶段一:录制一段