对抗网络用于人脸转正--Beyond Face Rotation

Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis

https://www.arxiv.org/abs/1704.04086

本文主要解决的问题是把一张侧脸照片变成正脸照片，可以用这种照片进行人脸特征分析如人脸识别。
生成的图像效果相当不错。

效果如下图所示：

其实已经有相关文献使用深度学习将侧脸照片变成正脸照片，但是效果不是很好。我们这里使用了对抗网络提升了性能。

对抗网络：Generative Adversarial Network (GAN)
GAN 在深度学习和计算机视觉中的影响很大，它主要可以估计目标分布，产生新的图像样本。estimate target distribution and generate novel image samples

Network Architecture

这里采用双通道网络，Two Pathway Generator，一个是 local pathway,另一个是 global pathway.
local pathway 用于解决人脸的细节问题，输入侧脸的四个特征图像块：分别是 两个眼睛、鼻子、嘴巴。输出正脸的对应四个图像块。
global pathway 用于生产人脸大的结构，缺少细节，输入完整的侧脸图像输出完整的模糊的正脸图像

这里我们主要定义了四个损失函数 Synthesis Loss Function

3.2.1 Pixel-wise Loss facilitate multi-scale image content consistency。 图像内容的一致性
对哪里进行Pixel-wise Loss了?
output of global , the landmark located patch network ,their final fused output

3.2.2 Symmetry Loss
人脸的对称性

3.2.3 Adversarial Loss
防止生产的图像模糊

3.2.4 Identity Preserving Loss
保证生产的图像是同一个人的，这样生产的图像可以用于人脸识别。

结果：

如果公安同志只有一张侧脸照片，可以通过这个得到一张正脸照片了。