Few-shot Video-to-Video Synthesis 论文心得 百度飞桨论文复现营

论文名称：《Few-shot Video-to-Video Synthesis》
论文地址：https://arxiv.org/pdf/1910.12713.pdf
代码地址：https://github.com/NVlabs/few-shot-vid2vid 基于pytorch实现

 

一、 论文实际应用的效果：

1. Dance Videos

2. Talking Head Videos

 

二、 论文动机

 

                                                                    vid2vid(左) 和 few-shot vid2vid(右) 

 

    现有的vid2vid局限性：

1. 训练数据数量大
2. 泛化能力较弱， 一个姿态到人的模型只能合成在训练集中单个人的姿态

     本文的工作：

1. 提出了一种小样本的vid2vid的框架，这种框架学习通过在测试时利用少量的示例图像合成之前没有见过的主题或场景的视频
2. 模型利用基于注意力机制的新型网络权重生成模块提升了泛化能力

   三、 模型介绍

    1.  视频转换任务旨在学习转换语义图像序列的映射函数。

                                     输入序列                                                                                                 输出序列

                    抽象化成  ,一般F使用的是图像抠图方法(image matting):

  2. vid2vid

                                                                                        

 3. Few shot vid2vid     

               为了使得F能够适用于未见过的域，为F增加两个额外的输入参数：一个是来自目标域的K个示例图像(sample e)，一个是相应的语义图像(sample se):

                                                                 

模型的整体框架图：

Network weight generation module

      论文的模型在整体上仍然沿用了vid2vid的方法，保留光流预测模块子网络W以及软掩盖图预测模块子网络M, 软掩盖图指示每个像素位置如何组合这两个图像, 改进模型将最后生成的图像的光流Warp与合成的中间图像h进行组合来生成输出图像;EF从示例图像中提取特征q,EP通过最终结果生成出H网络的权重, EA组通过不同特征的加权平均和注意力机制提取到的特征(语义特征).

Attention-based aggregation (K > 1)

      为了能够从任意数量的示例图像中提取特征。设计一个由几个全卷积网络层组成的注意力机制模型EA去集成提取外观特征。此集成机制当示例图像同时包含目标人物的正面和背面时，注意力图可以帮助捕获合成过程中相应的身体部位。

Warping example images

                                           

四、实验结果

 

 

             对于舞蹈和街景视频合成任务，few-shotvideo2video的方法优于常用的一些方法。其中，PoseError(姿势错误)和FID(图像质量)，越低越好；PixelAcc(像素准确率)和mIoU，越高越好。HumanPref.表示受测者偏爱通过我们的方法合成的结果的比例。