【SiamDW(CVPR2019)oral】论文阅读Deeper and Wider Siamese Networks for Real-Time Visual Tracking

本文主要是介绍【SiamDW(CVPR2019)oral】论文阅读Deeper and Wider Siamese Networks for Real-Time Visual Tracking,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Deeper and Wider Siamese Networks for Real-Time Visual Tracking 论文地址 代码

写在前面

又是一篇关于SiamRPN的改进,加深了网络宽度与深度,优化特征提取过程,效果很好。

Motivation

  • 深度的网络如ResNet在其他视觉任务上都有很好的表现,然而却不能移植到目标跟踪领域中;
  • 网络太深导致最后特征的感受野太大,更加关注语义信息而缺少定位能力;
  • 网络的padding操作会使得模型产生漂移;
  • 网络的步长影响了网络定位的准确度,特别是在小物体上。

Contribution

  • 他们系统分析了深度的网络影响跟踪的因素,并且提出了一个网络结构设计的guideline for Siamese tracker;
  • 他们提出了一个no-padding-residual 单元来设计一个更加深和宽的Siamese tracker,实验表明他们的这种做法提升了网络的精度。

Algorithm

1、Analysis

在这个部分,他们详细分析了深度网络影响tracker的因素如下:
1.1 没有padding的网络的表现最好;
1.2 随着网络的步长变大,网络的表现越差,这个表明Siamese网络更多使用的四中层的特征,这些特征更加有利于目标的定位;
1.3 输出feature的感受野最好是模板的60%-80%左右。
在这里插入图片描述

2.Guideline

根据以上的分析,他们对网络的优化提出了一系列的准则:

2.1 Siamese的tracker应该使用小的网络步长;
2.2 输出特征的感受野应该根据模板图片的比例设定;
2.3 网络的步长、感受野和输出特征尺寸应该是一起设计的;
2.4 对于全卷积的Siamese网络,最好的方法应该是去掉padding操作。

Deeper and Wider Siamese Networks

这个部分,他们设计了一个新的模块,用来消除由于网络太深产生的漂移。
在这里插入图片描述
如上图,a和b是原始的残差单元和下采样单元,(a’)是本文提出的方法,在加和操作之后加了一个crop操作,这个操作可以移除被zero-padding影响的特征,因为padding一般处于feature map的边缘,所以这些影响很容易通过crop操作消除。

(b’)是对下采样操作的优化,因为这个操作会将网络的特征图变小,所以为了稍微控制一下,就把第二层的步长变成1,最后还是加了一个crop来消除padding的影响,最后用maxpooling来下采样特征图(这个maxpooling不懂干嘛的,可能是人家模型压缩领域常用的把)。d是将网络加宽,使得网络可以使用更多的信息。

值得注意的是,网络因为crop操作所以会使得feature map变小,文章就直接通过加大输入图像和减少网络步长来做

3、网络结构

在这里插入图片描述
以上CIResNet-43就是这篇文章提出的网络结构,(一脸懵逼的我)。

Experiment

在各大benchmark上效果都有提升
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

感觉从ECCV UPDT出来后,商汤就开始研究ResNet了,怎么大家都没想到呢,果然人家就是有克服困难的意识和勇气啊。

优点
  • 分析了更加深的网络为什么不能在Siamese tracker上有用,并且给出了解决方案,是一个比较通用的方法;
缺点

找不出缺点(哭),要说缺点,就是Inception和ResNet我不熟,所以觉得人家在网络结构那边写的模棱两可吧。

这篇关于【SiamDW(CVPR2019)oral】论文阅读Deeper and Wider Siamese Networks for Real-Time Visual Tracking的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/527228

相关文章

MySQL中时区参数time_zone解读

《MySQL中时区参数time_zone解读》MySQL时区参数time_zone用于控制系统函数和字段的DEFAULTCURRENT_TIMESTAMP属性,修改时区可能会影响timestamp类型... 目录前言1.时区参数影响2.如何设置3.字段类型选择总结前言mysql 时区参数 time_zon

Python 标准库time时间的访问和转换问题小结

《Python标准库time时间的访问和转换问题小结》time模块为Python提供了处理时间和日期的多种功能,适用于多种与时间相关的场景,包括获取当前时间、格式化时间、暂停程序执行、计算程序运行时... 目录模块介绍使用场景主要类主要函数 - time()- sleep()- localtime()- g

如何使用 Bash 脚本中的time命令来统计命令执行时间(中英双语)

《如何使用Bash脚本中的time命令来统计命令执行时间(中英双语)》本文介绍了如何在Bash脚本中使用`time`命令来测量命令执行时间,包括`real`、`user`和`sys`三个时间指标,... 使用 Bash 脚本中的 time 命令来统计命令执行时间在日常的开发和运维过程中,性能监控和优化是不

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

如何在Visual Studio中调试.NET源码

今天偶然在看别人代码时,发现在他的代码里使用了Any判断List<T>是否为空。 我一般的做法是先判断是否为null,再判断Count。 看了一下Count的源码如下: 1 [__DynamicallyInvokable]2 public int Count3 {4 [__DynamicallyInvokable]5 get

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super