#每天一篇论文#241/365 DFF-DEN：基于带细节增强网络的深度特征流手部深度视频分割

DFF-DEN: DEEP FEATURE FLOW WITH DETAIL ENHANCEMENT NETWORK FOR HAND SEGMENTATION IN DEPTH VIDEO

在深度图连续帧上估计手势运动。通过使用一个轻量级的网络来估计流场和训练整个框架的端到端，DFF可以实现显著的加速，与一般视频分割任务中的每帧分割相比，具有中等精度的损失。然而，当这种方法应用于视频手部分割任务时，分割精度显著降低。原因是手是非刚性物体，不仅具有快速的位置位移，而且连续的手姿势变化在视频序列。

摘要

近年来，研究将基于CNN网络的分割方法从静止图像扩展到视频。在视频中直接应用基于帧的图像分割网络是不有效的。为了解决这个问题，一个有希望的方向是探索视频的连续性。一种最先进的方法称为深度特征流（DFF），它仅在稀疏关键帧上运行分割网络，并通过跨帧运动将特征映射传播到其他帧。然而，这种方法不能很好地用于手部分割在视频中，因为它是不鲁棒的手姿势改变。在本文中，我们提出将一个轻量级细节增强网络（DEN）纳入到DFF框架，以实现对横向帧运动和手姿势变化的鲁棒性。公开深度视频数据集FingerPaint实验结果表明，我们的方法实现了更高的分割精度比基于DFF的方法，类似的加速比基于帧的视频手分割方法。

贡献

为了解决上述问题，我们建议将轻量级细节增强网络（DEN）引入到DFF（10）框架中，以实现对交叉帧位置位移和连续手姿态变化的鲁棒性，以用于视频手部分割。具体地说，如图1（c）所示，除了使用流场来传播深特征图之外，我们还引入了一个辅助的轻型网络，并在每个图像帧上运行它来提取具有手部姿势细节的特征图。融合细节特征映射与传播的深度特征映射使得手部分割更加准确。在一个大型的公共深度视频数据集fingerpaint上的实验结果表明，我们的方法比最新的最先进的dff实现了更好的精度-速度权衡。

方法

不同手势分割算法对比，本文提出的DFF-DEN网络
、网络结构

实验结果