本文主要是介绍Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness..,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
Abstract
视频摘要旨在通过制作短而简洁的摘要来促进大规模浏览视频,这些摘要是多种多样的,并且代表了原始视频。在本文中,我们规定视频摘要作为一个顺序决策过程,并开发一个深度摘要网络(DSN)来总结视频。DSN为每个视频帧预测概率,该概率表示帧被选择的可能性,然后基于概率分布来选择帧,从而形成视频摘要。为了训练我们的DSN,我们提出了一个端到端的,基于强化学习的框架,在这个框架中,我们设计了一个新颖的奖励函数,共同解释生成的摘要的多样性和代表性,并且不依赖标签或用户交互。在训练期间,奖励功能函数评定怎样展示所生成的摘要的多样性和代表性,而DSN通过学习产生更多样化和更具代表性的摘要来努力获得更高的回报。由于标签不是必需的,我们的方法可以完全不受监督。对两个基准数据集进行的大量实验表明,我们的无监督方法不仅胜过了其他最先进的无监督方法,而且与大多数已发布的监督方法相比甚至更胜一筹。
Introduction
在近年来在线视频数量呈指数级增长的推动下,视频摘要研究日益受到关注,因此提出了各种方法来促进大规模视频浏览。(Gygli et al.2014; Gygli, Grabner, and Van Gool 2015; Zhang et al.2016a; Song et al. 2015; Panda and Roy-Chowdhury 2017;Mahasseni, Lam, and Todorovi
这篇关于Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness..的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!