人体姿态估计算法之openpose

一&＃xff0c;openpose是一种自底向上的算法&＃xff1a;
        OpenPose人体姿态识别项目是美国卡耐基梅隆大学&＃xff08;CMU&＃xff09;基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人&＃xff0c;具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用&＃xff0c;基于它的实例如雨后春笋般涌现。

        检测所有的关键点&＃xff0c;再group成不同的人&＃xff0c;是当前比较流行的人体姿态评估算法之一。OpenPose 大获成功的一部分原因是它在 GitHub 上开源了其实现代码

&＃xff08;https://github.com/CMU-Perceptual-Computing-Lab/openpose&＃xff09;&＃xff0c;并配有详细的说明文档。
和很多自底向上的方法一样&＃xff0c;OpenPose 首先检测出图像中所有人的关节&＃xff08;关键点&＃xff09;&＃xff0c;然后将检出的关键点分配给每个对应的人。下图展示了 OpenPose 模型的架构。

二&＃xff0c;openpose算法&＃xff1a;
1.输入一幅图像&＃xff0c;经过VGG19卷积网络提取特征&＃xff0c;得到一组特征图&＃xff0c;然后分成两个岔路Branch1&2&＃xff0c;分别使用 CNN网络提取Part Confidence Maps&＃xff08;置信度&＃xff09; 和 Part Affinity Fields&＃xff08;关联度&＃xff09;&＃xff1b;
2.得到这两个信息后&＃xff0c;我们使用图论中的 Bipartite Matching&＃xff08;偶匹配&＃xff09; 求出Part Association&＃xff0c;将同一个人的关节点连接起来&＃xff0c;由于PAF自身的矢量性&＃xff0c;使得生成的偶匹配很正确&＃xff0c;最终合并为一个人的整体骨架&＃xff1b;
3.最后基于PAFs求Multi-Person Parsing—>把Multi-person parsing问题转换成graphs问题—>Hungarian Algorithm(匈牙利算法)&＃xff08;匈牙利算法是部图匹配最常见的算法&＃xff0c;该算法的核心就是寻找增广路径&＃xff0c;它是一种用增广路径求二分图最大匹配的算法。)

三&＃xff0c;关键点热图与矢量图&＃xff08;heatmap&vectmap&＃xff09;&＃xff1a;
如&＃xff0c;一共有19个关键点&＃xff0c;就会生成19个通道的热图&＃xff0c;每一个通道为某个关节的热图分布&＃xff08;也就是概率图&＃xff09;。同时会生成192个通道的矢量图&＃xff0c;为什么是192呢&＃xff1f;因为矢量图分为两个方向&＃xff0c;一个是X方向、一个是Y方向。

heatmap生成关键点热力图&＃xff0c;未在图内且未标注的关键点生成的heatmap所有值都为0。一共19个heatmap&＃xff0c;其中最后一个代表背景。

vectormap 向量叉乘&＃xff0c;vectormap是heatmap的两倍为38个&＃xff08;19*2&＃xff09;&＃xff0c;因为有19条的关键点连接线&＃xff0c;每一条线使用向量表示&＃xff0c;分别有x轴的map,以及y轴的map。

四&＃xff0c;coco keypoints 标注 以及tf-openpose的标注的不同