本文主要是介绍论文阅读:《Flowing ConvNets for Human Pose Estimation in Videos》ICCV 2015,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
概述
本文主要用CNN网络来进行人体姿态估计,加入了temporal 信息以提高精度。本文的四个贡献:
1. 提出了一个更深的CNN网络(相比于Alex-Net),不同于之前的回归坐标,而是回归heatmap,这样可以提高关节点定位的鲁棒性,并且更利于在训练过程中的可视化观察。
2. 提出一种空间融合层,用来学习隐式空间模型,即用来提取关节点之间的内在联系
3. 使用光流信息,用来对准相邻帧的heatmap 预测
4. 使用最后的参数池化层,学习将对齐的热图合并成一个聚集的置信图
网络框架
网络pipeline:对于当前帧t,输入它的相邻的前后n帧。利用全卷机神经网络(Spatial Net + Spatial Fusion Layers)对每一帧输出一个预测的heatmap。再利用光流信息将这些heatmap扭曲到当前帧t。之后将warped的heatmap合并到另一个卷积层中,该层学习如何权衡来自附近框架的扭曲的heatmap。最后使用集合热图的最大值作为人体的身体关节。
Spatial Fusion Layers的细节结构
增加该结构是为了学习关节之间的内在联系,其获取的是之前CNN中的conv3和conv7,将这两层结合之后再经过5层卷积。关于loss一共有两个,一个是spatial net中的loss1,用的是L2范式,计算公式是CNN中输出的heatmap与ground truth中的目标的坐标的高斯分布的距离和。同理,spatial fusion net之后的loss2也是相同的计算方式。两者是为了保证学习的内容不同。
光流法增强heatmap
1. 使用密集光流将附近帧的信号与当前帧对准
2. 然后使用附加卷积层将这些置信度合并到复合置信度图中
3. 对每一帧的最终上半身姿势估计就是复合图中最大置信度的位置
这篇关于论文阅读:《Flowing ConvNets for Human Pose Estimation in Videos》ICCV 2015的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!