本文主要是介绍【VOS】Fast Video Object Segmentation by Reference-Guided Mask Propagation,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
论文地址:http://openaccess.thecvf.com/content_cvpr_2018/papers/Oh_Fast_Video_Object_CVPR_2018_paper.pdf
只有测试代码,地址:https://github.com/seoungwugoh/RGMP
Motivation
在线学习速度慢,而且作者的准确率也达到SOTA
Pipline
采用Siamese encoder,其他的还比较直观,没有难懂的结果。简单有效。
Two-Stage Training
我感觉作者这个网络能够很有效的原因和pretrain做的一系列的data augmentation有关
Pre-training on simulated samples
生成一个新数据集
Strategy1:对包含object mask的数据用两套不同的随即变换(rotation, scaling, color perturbation),模拟了environment变换
Strategy2:只对前景做一些变换,然后把变换后的forground object images放在纯background上,这样也会自然的产生一些有遮挡的图,模拟了更复杂的变换
然后对这两种策略生的图在做random affine transform,然后随即crop一个training sample至少含有50%的target object
Fine-tuning on video data
在DAVIS2017上训练,如果有多个instances,只选择1个instance训练,在video上训练时用前一帧的mask代替当前帧的mask,用BPTT来更新,用迭代的方法训练。#TODO
2020年01年08日
这篇关于【VOS】Fast Video Object Segmentation by Reference-Guided Mask Propagation的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!