[论文笔记]pose guided person image generation

zwplus

已于 2022-12-20 19:02:16 修改

阅读量576

点赞数 1

分类专栏：论文笔记文章标签：论文阅读计算机视觉深度学习

于 2022-12-18 22:00:27 首次发布

本文链接：https://blog.csdn.net/zwplus/article/details/128366546

版权

论文笔记专栏收录该内容

9 篇文章 1 订阅

订阅专栏

Pose Guided Person Image Generation

本文提出了一种名为PG2的人体图像生成网络，其能够将输入图像中人体姿态转换成任意指定的目标姿态。

创新点

提出在根据参考图像和目标姿势的条件下的图像生成任务，核心目的是将图像中的人体操作成任意姿势。（本文应该算是姿态伪造这边一篇开山之作了）
本文探索了多种方式类结合原始图像和姿态信息，并提出了一种掩码损失mask loss来鼓励模型专注于对人体外观的生成而不是背景部分。（这里的结合方式和mask loss在后续也启发了一些工作）
作者使用了一个两阶段的生成方式来将渐进式的生成目标图像，第一个阶段专注于人体结构（姿态）的迁移（生成），第二阶段则在第一阶段的基础上使用对抗的训练方式来补充人体的细节，更加强调外观上的生成。（后续几年的工作都借鉴了这样的思想，将问题进行分解，只不过角度和实现方式上有区别，但是核心想法就是外观和姿态生成尽量独立开做）。

网络结构

在这里插入图片描述

第一阶段:姿态整合

网络的第一阶段主要负责将输入图 $I_A$ 和给定的姿态 $P_B$ 结合起来产生一个粗糙的图像 $I_{B}^{'}$ ,其捕获目标图像 $I_B$ 中的人体的全局结构（姿态）,换句话说就是图像 $I_{B}^{'}$ 的姿态和图像 $I_B$ 一致。

姿态的嵌入pose embedding

姿态的嵌入实际上可以理解成对姿态的编码或者对姿态进行适当的表示，根据其表示的不同，其和图像 $I_A$ 的结合也存在差别。

作者使用但是最先进的姿态估测方法来获取近似的人体姿态，这样就不需要进行昂贵的姿态标注，该方法使用18个关键点来刻画人体的姿态。
考虑到如果直接使用这个18个关键点信息作为输入，则模型还需要去学习将关键点映射到人体对位置上。因此，这里以这18个关键点分别生成对应的18张热力图（热力图的大小与原图像一致），每张热力图上对应的关键点位置及其半径4个像素以内区域的像素值为1，其余位置像素值为0。这样生成的18张热力图称为 $P_B$
这里直接将 $P_B$ 和 $I_A$ 连接起来作为输入，这样可以直接使用卷积层来实现外观和姿势这两种信息的整合。

生成器G1

生成器1的整体架构是一个类似U-NET的网络结构（U-NET是一种带有跳跃连接的基于卷积层的自编码器结构）。

首先编码部分使用连续的堆叠的卷积层从局部邻域到更大的范围来不断整合 $P_B$ 和 $I_A$ 信息（这样只能实现外观信息在局部位置上的传递），因此作者又使用一个全连接层来实现相距较远的身体部分也能交换信息。（这样如果姿势的变化幅度较大也能够实现比较好的变化。）
解码器部分使用了和编码器部分对称的卷积层，来生成图像 $I^{'}_{B}$ ,编码器和解码器之间的跳跃连接能够将图片信息之间从输入传递给输出。
G1中的卷积层主要由简化的残差块renet_block组成，作者认为这样有助于提高生成图片的效果。

Pose mask loss

在阶段一里，作者使用L1LOSS来比较生成的 $I^{'}_{B}$ 和 $I_{B}$ 之间差异，即以L1_LOSS作为损失函数，但是在生成图像过程中由于只使用源图像 $I_A$ 和目标姿势 $P_{B}$ ，因此对生气器G1而言，很难生成与目标图像 $I_{B}$ 一致的背景（生成的图片背景会目标图像背景存在很大差异），这样的情况下直接使用L1_LOSS来作为损失函数，会很大程度上受到背景差异的影响，然后在第一阶段中背景的生成并不是我们关注的重点，我们关注的重点是人体全局结构与目标图像是否一致（即姿态是否是目标姿态）。因此作者对L1_LOSS增加了一个mask机制来增加全局结构差异在损失中的比重，进而使得模型更加专注于对全局姿态的生成。

pose mask的生成：如下如所示，首先根据姿态估测时获得18个关键点，然后使用这些点结合图像的形态学操作来生成人体图像的掩膜 $M_B$ ，人体部分的值为1，背景部分的值为0,在后续loss计算过程中，掩膜部分的差异会被放大。

在这里插入图片描述

pose mask loss： $G1(I_A,P_B)$ 表示生成图像 $I^{'}_B$ ，将其与目标图像相减得到矩阵就是二者的差，再和 $1+M_B)$ 逐元素相乘，这样人体部分的差异会被放大，使得生成器G1更加专注于对人体全局结构信息的生成。
在这里插入图片描述

虽然作者对其进行了改进，但是由于本质上还是L1_LOSS,因此还是遇到图像模糊的问题，因此L1_loss会鼓励结果趋向于所有可能情况的一个平均，因此为了生成细节上更加清晰的结果，作者引入了第二阶段来生成一个细节更加丰富的结果。

第二阶段：图像细节的生成

    第二阶段主要使用基于条件的对抗式图像生成网络（condition GAN）来对第一阶段上生成的图像进行细节上的补充。

生成器G2

生成器G1使用了一个全卷积层构成的U-NET网络，使用第一阶段生成结果 $I_B$ 和原图像 $I_A$ 作为输入。特别值得注意的是：作者并没有直接使用生成器G2来生成一个接近于目标图像的图像，而是生成目标图像 $I_B$ 和第一阶段生成图像 $I^{'}_B$ 之间的差异图。 这样做能够使得模型更加容易训练，因为模型只需要专注于学习二者之间差异即可。

在生成器G2部分使用U-NET网络结构中并未使用到G1中使用到全连接层，因为这里是在全局结构已经生成情况下补充细节，因此并不太需要全连接层来实现远距离信息的交换，同时全连接层的存在也会增大网络的训练难度。

鉴别器

在第二阶段中图像细节的生成使用对抗的方式，因此需要一个鉴别器来对生成图像进行分类，但是与一般将目标图像 $I_B$ 和 $I^{'}_B$ 作为输入进行真伪分类不同的是，这里使用(I_A,I^{'}_{B2})和(I_A,I_B) 来作为输入，目的是鼓励网络去学习 $I^{'}_{B2}$ 和 $I_B$ 之间的区别来区分出图片的真伪，而不是单纯地去学习自然图片和生成图片之间的的不同。（如果只是学习真实图片和生成图片的差异的，一个简单的会存在的问题的就是如果只使用 $I^{'}_{B2}$ 和 $I_B$ 作为输入来判别真假，则生成G2可以直接输出原始图片 $I_A$ ,就可以骗过鉴别器。），这一点也在后续的方法中被使用。