人脸对齐UnconstrainedFaceAlignmentwithoutFaceDetection

Unconstrained Face Alignment without Face Detection
CVPRW2017

以前人脸对齐主要存在的问题&＃xff1a;1&＃xff09;人脸对齐严重依赖于人脸检测来初始化&＃xff0c;2&＃xff09;任意姿态的人脸对齐效果不是很好&＃xff08;例如大于45度的 yaw angle&＃xff09;
本文提出一种不需要人脸检测的人脸对齐方法。分两个步骤&＃xff1a;1&＃xff09;Basic Landmark Prediction Stage&＃xff0c;人脸特征点检测&＃xff1b;2&＃xff09;Whole Landmark Regression Stage 基于人脸特征点位置&＃xff0c;我们使用一个 Pose Splitting Layer 可以生成人脸的姿态

framework&＃xff1a;

2 Our Method
2.1. Basic Landmark Prediction Stage
这里我们首先对图像中每个人脸的5个基础特征点进行检测&＃xff1a; two centers of pupils, nose tip, two mouth corners &＃xff08;对照图示&＃xff09;
基础特征点检测方式参考文献【3】中的 a sub-network of landmark heatmap and affinity field prediction

2.1.1 Landmark Heatmap
这一步主要是对单个特征点的预测&＃xff0c;基于真值特征点的预测

2.1.2 Landmark Affinity Field
这一步主要是将特征点关联起来用于去除一些噪声

2.1.3 Sub-network Learning

这里我们采用类似VGG网络结构的一个 CNN网络来 jointly learning heatmaps H and affinity fields L of landmarks

2.2. Whole Landmark Regression Stage
2.2.1 Pose Splitting Layer
这里我们将人脸姿态分为三类&＃xff1a;left profile, right profile and semi-frontal
这三类姿态划分我们一般使用 Algorithm 1

对于 Menpo Benchmark 只需要分为 left profile and right profile 使用 Algorithm 2

人脸姿态分类完之后&＃xff0c;我们对每个姿态的人脸进行姿态归一化

2.2.2 Shape Regression Sub-network
有了姿态归一化之后的人脸&＃xff0c;我们进行人脸形状特征点密集提取

300-W dataset

Menpo Benchmark