人脸对齐--Unconstrained Face Alignment without Face Detection

Unconstrained Face Alignment without Face Detection
CVPRW2017

以前人脸对齐主要存在的问题：1）人脸对齐严重依赖于人脸检测来初始化，2）任意姿态的人脸对齐效果不是很好（例如大于45度的 yaw angle）
本文提出一种不需要人脸检测的人脸对齐方法。分两个步骤：1）Basic Landmark Prediction Stage，人脸特征点检测；2）Whole Landmark Regression Stage 基于人脸特征点位置，我们使用一个 Pose Splitting Layer 可以生成人脸的姿态

framework：

2 Our Method
2.1. Basic Landmark Prediction Stage
这里我们首先对图像中每个人脸的5个基础特征点进行检测： two centers of pupils, nose tip, two mouth corners （对照图示）
基础特征点检测方式参考文献【3】中的 a sub-network of landmark heatmap and affinity field prediction

2.1.1 Landmark Heatmap
这一步主要是对单个特征点的预测，基于真值特征点的预测

2.1.2 Landmark Affinity Field
这一步主要是将特征点关联起来用于去除一些噪声

2.1.3 Sub-network Learning

这里我们采用类似VGG网络结构的一个 CNN网络来 jointly learning heatmaps H and affinity fields L of landmarks

2.2. Whole Landmark Regression Stage
2.2.1 Pose Splitting Layer
这里我们将人脸姿态分为三类：left profile, right profile and semi-frontal
这三类姿态划分我们一般使用 Algorithm 1

对于 Menpo Benchmark 只需要分为 left profile and right profile 使用 Algorithm 2

人脸姿态分类完之后，我们对每个姿态的人脸进行姿态归一化

2.2.2 Shape Regression Sub-network
有了姿态归一化之后的人脸，我们进行人脸形状特征点密集提取

300-W dataset

Menpo Benchmark