本文主要是介绍Learning to Estimate 3D Human Pose and Shape from a Single Color Image,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
CVPR2018
任务:从单张图估计人的3D形状(3d shape)。
方法:
先估计出heatmap和Silhouette, 再分别估计出代表shape和pose的参数和。输入到SMPL模型中, 得到3D shape。
需要注意, 估计和的这一步是可以离线训练的, 也就是认为选择和, 得到3D shape, 将其投影到各个方向, 得到heatmap和silhouette, 这样输入和输出都有了。
后面的Render是opendr库执行的, 将3D shape投影到2d,在heatmap和silhouette上做监督, 因此即使没有3D标签, 该模型也能进行end-to-end训练。
补充1:
SMPL是一种概率人体形状模型, 它的特点是用很少的参数能表示human pose and shape。 这样的小空间表示给CNN学习带来好处(否则直接学习shape的6890个点3d坐标很困难)。 具体的, 它把整个mesh分为shape和pose两个方面来表示, 其中shape用表示, 包含10个参数, pose用表示, 包含72个参数(23*3+1*3, 23代表23个关节点, 每个关节点3个旋转角度, 1代表全局旋转)。
补充2:
评价标准: human shape的评价一般在UP-3D和SURREAL数据集上进行, 前者是在MPII, LSP等2D数据集上采集, 然后利用SMPLify生成shape标签。SURREAL数据集的图片是合成的, 但是标签信息十分准确。这二者的评价指标都是the mean per-vertex error。
此外也经常在h36m上比较关节点的重建误差,佐证shape重建的精度。
这篇关于Learning to Estimate 3D Human Pose and Shape from a Single Color Image的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!