RobustFacialLandmarkDetectionviaaFullyConvolutionalLocalGlobalContextNetwork

CVPR2018&＃xff1a;Robust Facial Landmark Detection via a Fully-Convolutional Local-Global Context Network
references:

1. https://blog.csdn.net/alfred_torres/article/details/83591985
2. https://blog.csdn.net/u013548568/article/details/80648439

摘要

全卷积神经网络在提取局部特征上很棒&＃xff0c;但是感受野受限制&＃xff0c;对于全局特征表现不好。现在的一些方法通过引入级联网络、池化、或者一个数据驱动的模型来解决这个问题。

本文中&＃xff0c;我们提出了一种新的方法&＃xff0c;直接将全局语义特征引入到全卷积神经网络中。一个关键的概念是implicit核&＃xff0c;这个卷积核可以将局部信息模糊化&＃xff0c;然后通过一个dilate卷积加强成一个全局信息网络。卷积核对于网络的收敛很关键&＃xff0c;因为他可以平滑梯度&＃xff0c;减少过拟合。

在预处理阶段&＃xff0c;拟合了一个基于PCA的2D模型&＃xff0c;来对输出进行滤波。实验正面了方法的有效性。

简介

作者总结了全卷积神经网络的优点和缺点&＃xff1a;
优点&＃xff1a;

1. 不受限于图像分辨率。
2. 不需要region of interest&＃xff0c;不需要先进行face detect。
3. 对于没有人脸或者多张人脸的情况&＃xff0c;都可以处理。
4. 对于剪裁、遮挡的人脸也可以处理。
5. 参数量比有全连接层的少。

缺点&＃xff1a;

1. 因为感受野小&＃xff0c;不能得到全局信息。

主要贡献

1. 提出一个卷积神经网络使用的卷积核
2. 利用dilated convolutions空洞卷积扩大感受野
3. 在300-W和Menpo数据集上验证了方法的有效性
4. 验证了本文提出的关键点定位方法不依赖于人脸检测先验信息

Local-global context network

Preprocessing

首先将训练和测试图片crop到正方形&＃xff0c;在rescale到96*96。作者将图片都转换为了灰度图&＃xff0c;作者发现结果和RGB差不多&＃xff0c;甚至有时候更好&＃xff0c;这可能是因为三通道容易过拟合。
landmark的groundtruth被设置为灰度图&＃xff0c;通过双线性插值使得包含4个不为零的像素点&＃xff0c;它们的和为1.

Network Architecture

网络包含四个部分&＃xff1a;

1. local-context, fully-convolutional network
2. convolution with a (customizable) static kernel
3. Global-context, dilated fully-convolutional network
4. Square error-like loss versus kernel-convolved labels

Local-context subnet

该子网络作为局部特征提取器&＃xff0c;提取一些底层的局部landmark特征&＃xff0c;上述图片中&＃xff0c;该子网络是一个15层的CNN&＃xff0c;和一个1*1的linear convolution。

Kernel convolution

Local-context subnet被kernel卷积。kernal卷积是一个group&＃61;1的group convolution,等同于channel-wise的convolution。他在训练和测试的时候都会被用到。
作用&＃xff1a;

1. 像素之间的平方差现在关联了预测和ground truth之间的距离
2. global-context子网络可以利用dilated&＃xff0c;而不是dense convolution
   不仅要对网络进行kernal 卷积&＃xff0c;同样的对于标签也要进行kernal卷积&＃xff0c;一张gt map只有一个点是目标位置而不是高斯这种形式的gt是不合理的。
   核设计&＃xff1a;
   
   将该核进行平移后与未平移的该核做差&＃xff0c;得出下面的图 &＃xff1a;
   
   在11px左右normalized error为0.5,所以再11px以内进行奖励&＃xff0c;在11px之外进行惩罚

Global-context subnet

该全局子网络的目的是整合local子网络的信息。作者使用了dilated卷积来增大感受野。


最终的输出是local和global相加的形式&＃xff0c;但是只在local和global地方加监督而不再最后的预测的输出加监督。global部分的网络由起个0 padding的3x3dilated卷积组成&＃xff0c;dilation&＃61;4。

Loss

对N个landmark点的每一个都设置了一个权重&＃xff0c;根据是否标注以及是否在界内外。

L表示是否标记&＃xff0c;V表示是否在边界内。

O_n^l 表示local的第n个通道&＃xff0c;O_n^g 表示local的第n个通道&＃xff0c;&＃xff0c;K是kernel&＃xff0c;G_n是gt map

From heatmaps to coordinates

从热度图到最终的坐标&＃xff0c;一般来讲会直接取最大值&＃xff0c;但是这种每张map最大值的情形仅仅适用于关键点比较少的情况&＃xff08;疑问脸&＃xff09;&＃xff0c;然后如果事先确定一个阈值&＃xff0c;仅仅在阈值以上的情形是要求取最大&＃xff0c;这种情形又是会引进outliers。作者设计了一个2D-PCA based的模型
we interpret the output heatmaps as likelihoods and fit an outlier-robust PCA-based 2D shape model. The model is able to recover from false detections, but also reconstruct occluded or truncated landmarks to a reasonable extent

实验