人体姿态估计——CPMs

论文:《Convolutional Pose Machines 》

1.概述

CPMs由一系列预测器组成&＃xff0c;这些预测器经过训练&＃xff0c;可在每个图像位置进行密集预测。
本文的主要贡献包含&＃xff1a;
a&＃xff1a;使用级联&＃xff08;sequential&＃xff09;卷积结构学习隐式空间模型。
b&＃xff1a;系统地设计和训练CPMs来学习图像特征和依赖图像的空间模型&＃xff08;各个关节的关系&＃xff09;

2.CPMs的模型架构

CPM采用CNN的方式来进行特征提取和上下文信息提取&＃xff0c;以heatmap的形式表示预测结果&＃xff08;能够保留空间信息&＃xff09;&＃xff0c;在全卷积的结构下使用中间监督进行端到端的训练和测试&＃xff0c;极大提高了关键点检测的准确率。
Heatmap的好处&＃xff1a; 在于空间位置信息的保存&＃xff0c;这个非常重要。一方面&＃xff0c;可以保留multi-modal的信息&＃xff0c;比如没有很好的context信息的情况下&＃xff0c;是很难区分左右手的&＃xff0c;所以图片中左右手同时都可能有比较好的响应&＃xff0c;这种heatmap的形式便于后续的cascade进行refinement优化。另外一个方面&＃xff0c;人体姿态估计这个问题本身的自由度很大&＃xff0c;直接regression的方式对自由度小的问题比如人脸landmark是比较适合的&＃xff0c;但是对于自由度大的姿态估计问题整体的建模能力会比较弱。相反&＃xff0c;heatmap是比较中间状态的表示&＃xff0c;所以信息的保存会更丰富。

3.参考

https://zhuanlan.zhihu.com/p/102468356
https://blog.csdn.net/shenxiaolu1984/article/details/51094959
https://zhuanlan.zhihu.com/p/56131599