GAN人脸修复--Generative Face Completion

Generative Face Completion
CVPR 2017
https://arxiv.org/abs/1704.05838

Code: https://github.com/Yijunmaverick/GenerativeFaceCompletion

首先来直观的认识一下人脸修复是什么？ 输入一个有缺失的人脸图像，得到完整的人脸图像

本文算法训练流程图如下：

主要由三个模块构成：Generator，Discriminator，Parsing network
3.1. Generator
这里的 Generator 被设计为一个 autoencoder，输入不完整的图像，输出修复后的图像。这里我们使用了 VGG19的前半部分网络结构，外加2个卷积层，一个池化层，一个全链接层。decoder 和 encoder 是对称的，使用了 unpooling 层 用于放大特征图尺寸

3.2. Discriminator
这里使用了两个 Discriminator，一个 local Discriminator, 一个 global Discriminator
local Discriminator 是针对 缺失图像区域的
global Discriminator 是针对整个图像区域的

3.3. Semantic Regularization
这里的 Parsing network 主要用于进一步完善缺失区域的生成图像的真实性。

不同损失函数下修复的结果：

有无 Parsing network 的对比：

修复结果：

Model limitations