目录
1.2 Beyond Reconstruction：Discriminator
2.3 Contrastive Predictive Coding(CPC)
3.2 Feature Disentangle- Voice Conversion
4. Discrete Representation(离散表示)
摘要
回顾上节讲过的encoder的output一个向量，我们叫做embedding，在训练的时候，要最小化重构误差，让encoder的输入和decoder的输出越接近越好。今天要讲两个内容：为什么是最小化重构误差，有没有其他做法以及让encoder的向量更有解释性。
具体来说，对于数据是有顺序的，除了训练一个auto-encoder，输入自己预测自己之外，还可以训练一个model，它是输入一个句子，预测前一个句子跟下一个句子，这个方法叫做skip thought，和其改进的方法quick thought以及CPC。本节最后讲的是为了使Embedding具有更好的可解释性，使用的两大类方法Feature Disentangle和Discrete Representation。
1. More about Auto-Encoder
Auto-encoder是一个基本的生成模型，更重要的是它提供了一种encoder-decoder的框架思想，广泛的应用在了许多模型架构中。简单来说，Auto-encoder可以看作是如下的结构，它主要包含一个编码器（Encoder）和一个解码器（Decoder），通常它们使用的都是神经网络。Encoder接收一张图像（或是其他类型的数据，这里以图像为例）输出一个vector，它也可称为Embedding、Latent Representation或Latent code，不管它叫什么，我们只需要知道它是关于输入图像的表示；然后将vector输入到Decoder中就可以得到重建后的图像，希望它和输入图像越接近越好，即最小化重建误差（reconstruction error），误差项通常使用的平方误差。
1.1 What is good embedding
之前要做embedding的根本原因是：An embedding should represent the object.虽然我们希望Decoder输出的重建图像和输入到Encoder中的图像越接近越好，但是通常我们并不关注重建后的图像是什么样的，更多的希望得到一个关于输入图像有意义、解释性强的embedding。
如何评价一个embedding是否是好的呢？最直观的想法是它应该包含了关于输入的关键信息，从中我们就可以大致知道输入是什么样的。或是从流形学习的角度来看，希望它可以学到关于高维输入数据的低维嵌入。比如当我们看到蓝色耳机时，我们想到的是三九，而不应是一花，那么蓝色耳机对于三九就是一个好的embedding，对于一花来说就不是一个好的embedding。
1.2 Beyond Reconstruction：Discriminator
除了使用重建误差来驱动模型训练外，可以使用其他的方式来衡量Encoder是否学到了关于输入的重要表征吗？答案自然是YES！假设我们现在有两类动漫人物的图像，一类是三玖，一类是凉宫春日。如果将三玖的图像丢给Encoder后，它就会给出一个蓝色的Embedding；如果Encoder接收的是凉宫春日的图像，它就会给出一个黄色的Embedding。那么除了Encoder之外，还有一个Discriminator（这里可以就看作一个二分类的Classifier），它接收图像和Embedding，然后给出一个结果表示它们是否是两两对应的。
希望通过训练最小化D的损失函数，loss of the classification task is 输出与标签的交叉熵。
- 如果LD 的值比较小，就认为Encoder得到的Embedding很有代表性
- 相反如何LD的值很大时，就认为得到的Embedding不具有代表性
既然我们知道如何来评估向量表示的好和不好，我们就是要调整encoder的参数 θ，然后用评估方法（根据L∗D 来评估）来让生成向量最优。
也就是说我们要训练encoder的参数θ \thetaθ和discriminator的参数ϕ ，使得LD最小化。
这个东西实际可以类比到最原始的auto-encoder模型要同时训练encoder和decoder使得reconstruction error最小。也就是说auto-encoder模型：
我们现在知道，auto-encoder跟刚才所说的，同使训练encoder和binary classifer一样，只是可以将auto-encoder视为一个特别情况。
如上图所示，刚才我们所说的discriminator是同时将image与embedding做为输入，但如果先将embedding做为input，得到的结果再跟image相减，那它就是一个reconstruction error了。
2. Sequential Data
除了图像数据外，我们也可以在序列数据上使用Encoder-Decoder的结构模型。
2.1 Skip thought
模型在大量的文档数据上训练结束后，Encoder接收一个句子，然后给出输入句子的上一句和下一句是什么。
这个模型训练过程和训练word embedding很像，因为训练word embedding的时候有这么一个原则，就是两个词的上下文很像的时候，这两个词的embedding就会很接近。换到句子的模型上，如果两个句子的上下文很像，那么这两个句子的embedding就应该很接近。
例如：
发现答案一样，所以问句的embedding是很接近的。
2.2 Quick thought
而Quick thought是对于Skip thought的改进版本，它不使用Decoder，而是使用一个辅助的分类器。它将当前的句子、当前句子的下一句和一些随机采样得到的句子分别送到Encoder中得到对应的Embedding，然后将它们丢给分类器。因为当前的句子的Embedding和它下一句的Embedding应该是越接近越好，而它和随机采样句子的Embedding应该差别越大越好，因此分类器应该可以根据Embedding判断出哪一个代表的是当前句子的下一句。
模型中的classifier吃当前句子（Spring had come.）的向量表示，还吃下一句（And yet his crops didn’t grow.）和其它几个随机生成的句子的向量表示，这个classifier可以输出正确的下一句。
classifier和encoder是一起训练的。
实作上classifier做的事情很简单，就是直接拿当前句子的向量表示和所有句子的向量表示做内积，看谁的内积最大，谁就是下一个句子。这里为了防止机器作弊，直接把输入作为下一句（这样内积最大），还要附加条件：使得当前句的向量表示和随机句子的向量表示越不像越好。
2.3 Contrastive Predictive Coding(CPC)
这个模型和Quick thought的思想是一样的，不过是用在声音信号上的。它称为Contrastive Predictive Coding (CPC)的技术，它同样接收一段序列数据，然后给出它的接下来数据的预测结果。模型结构如下所示：
3. Feature Disentangle(特征解耦)
3.1 Feature Disentangle
接下来我们来看如何得到解释性更好的Embedding，这样的方法也可以称为Feature Disentangle（特征结构）。因为对于Encoder的输入数据来说，经过Encoder得到的Embedding其实包含了关于它的很多类型的信息。例如，如果现在输入的是一段声音讯号，那么Embedding可能包含内容信息、讲话者的信息……
如果输入的是一段文字，Embedding可能包含关于它的句法信息、语义信息……
我们希望计算机告诉我们各个维度的embedding代表的关系。我们以声音讯号为例，假设通过Encoder得到的Embedding是一个100维 的向量，它只包含内容和讲话者身份两种信息。我们希望经过不断的训练，它的前50维代表内容信息，后50维代表讲话者的身份信息。
举例来说，我们希望输入一段声音讯号，而输出的假设是一个200维的向量，前100维是语音信息(语意内容的资讯)，而后100维则是语者信息(说话那个人的资讯)。这样训练出来的语音Encoder可以处理与人无关的语音，直接提取出语音特征；训练出来的语者Encoder可以用来做为识别语者身份的声纹特征。
又或者，我们可以有两个Encoder，一个负责处理语意内容，一个负责处理说话人的资讯，两个输出再合并给Decoder来做reconstructed。
3.2 Feature Disentangle- Voice Conversion
人和说话的内容是放在同一个向量里面的。
然后把女生说话的内容，和男生说话的特点合起来，就变成了男生在说How are you?
3.3 How Feature Disentangle?
3.3.1 使用GAN对抗的思想
一种方法就是使用GAN对抗的思想，我们在一般的Encoder-Decoder架构中引入一个Classifier，判别Embedding某个具体的部分是否代表了讲话者身份的信息，通过不断地训练，希望Encoder得到的Embedding可以骗过Classifier，那么那个具体的部分就表示了讲话者的信息。Classifier用来分辨语者的性别，encoder的原目标要加上一个限制，就是要使得不能让Classifier分辨出语者的性别，因此在训练的过程中就会把语者的性别放到后100维中去了，前100维就只剩下内容的信息了。
3.3.2 改变网络结构
另一种方式是改变网络结构，比如使用两个Encoder来分别得到内容信息和讲话者身份信息的Embedding，同时在Encoder中使用instance normalization，直接除掉global information。然后将得到的两个Embedding结合起来送入Decoder重建输入数据。
除了将两个Embedding直接组合起来的方式，还可以在Decoder中使用Adaptive instance normalization。
所以以上图架构来看，Encoder 1我们加入了IN layer，那就可能可以直接消掉说话人的资讯。但这还不能有任何的保证，因此我们还会在Decoder中加入AdaIN layer(adaptive instance normalization)让Encoder 2的output可以加到AdaIN内，来调整global information。
4. Discrete Representation(离散表示)
如果模型可以从连续型的向量表示变成输出离散的表示，那么对于表示的解释性估计会有更好的理解。（Easier to interpret or clustering）
主要方法有：
4.1 one-hot
例如：用独热编码表示图片，做法很简单，在连续向量后面接相同维度的独热编码，看连续变量的哪个维度最大就用哪个做独热编码的1。
通常情况下，Encoder输出的Embedding都是连续值的向量，这样才可以使用反向传播算法更新参数。但如果可以将其转换为离散值的向量，例如one-hot向量或是binary向量，我们就可以更加方便的观察Embedding的哪一部分表示什么信息。当然此时不能直接使用反向传播来训练模型，一种方式就是用强化学习来进行训练。
同样可以用Binary向量来表示图片，只不过判断0/1的方法不一样，这里如果大于0.5取1，小于取0,
但是上面的模型在连续向量转离散向量的步骤上是不可做偏导的（无法GD）但是有办法：
当然，上面两个离散向量的模型比较起来，Binary模型要好，原因有两点：
4.2 VQVAE
VQVAE(Vector Quantized Variational Auto-encoder,矢量量化变分自动编码器)，它引入了一个Code book。它是将Embedding分为了很多的vector，然后比较哪一个和输入更像，就将其丢给Decoder重建输入。
上面的模型中，如果输入的是语音信息，那么语者信息和噪音信息会被过滤掉，因为上面的Codebook中保存的是离散变量，而内容信息是一个个的token，是容易用离散向量来表示的，而其他信息不适合用离散变量表示，因此会被过滤掉。
因此过滤信息是VQVAE的一个应用。
4.3 Sequence as Embedding
既然可以用离散向量来表示输入信息，那么我们也可以考虑用序列来embedding
如果我们要训练一个seq2seq2seq的Auto-encoder时，使用其他对抗的思想进行训练，就可以得到类似关于输入文档的摘要信息
结论与展望
本节主要讲的是两方面内容：
第一方面是一种新的训练encoder的方式，过去训练encoder的时候是要最小化重构误差，现在我们知道可以训练一个二分类器（discriminator）去评估一个encoder，我们要做的事情就是调整encoder的参数，让encoder去学习使得在当前评估标准下结果最好。auto-encoder就是二分类器看encoder是好是坏的一种特例。假设discriminator里有一个NN decoder，接收一个向量，输出一个和输入图片大小一样的图片，然后把两张图片做相减，计算它们之间的差异，重构误差就是二分类器输出的值。当我们训练encoder的时候，是和discriminator一起训练的，这件事就好像训练一般的auto-encoder的时候，同时训练encoder和decoder，输出的重构误差要越小越好。
第二方面是使得Embedding更具体可解释性的具体方法，Feature Disentangle(特征解耦)，具体是使用两种方法，第一种是使用GAN对抗的思想，迭代训练分类器和encoder，第二种方法使用改变网络结构，可以把我们不要的资讯过滤掉。
5340
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
