深度学习知识点整理（四）——GAN / 强化学习RL

11-GAN

基本思想（方法）

初始化一个生成器G判别器D，每一次迭代，

step1（先固定G，训练D）：G生成一组图片，再从数据库采样真实图片，用这两组对D进行训练，目标是使D对真实图片的评分高，而对G生成的图片的评分低

step2（固定D，训练G）：G+D构成大网络，G产生图片，D对其识别评分，以此对G进行训练，使得输出数值越大越好

结构学习 Structured learning

传统机器学习可以表示为函数，即X与Y关系（如回归、分类），忽略成分之间的关系

结构学习具有挑战性，机器需要有大局意识和规划意识，考虑元素之间的关系（如图片布局）

为什么G不能自己学习

G就是给定向量，生成图片，如果自己学习，应该不断得到输入向量-图片对进行学习。当输出类似的时候，输入向量由于是随机的，有很大差别。而且在G的训练中，可能每一类只有一个图片，使得训练集测试集类不重合，生成不存在的图片。

Auto-encoder

解决上述问题。由一个编码器和一个解码器构成，编码器根据规则，将图片编码为一个向量，解码器根据规则将向量解码为图片。generator相当于解码器

Variational Auto-encoder （VAE）

在encoder产生的编码上增加噪音，使得训练出来的模型泛化性能更好，减缓过拟合

识别器可以生成图像吗？

可以穷举所有的输入X，然后让判别器挑出分数高的作为生成。

但是这种算法无法实现

生成器判别器优缺点

生成器：容易生成有意义的内容，但是容易过度模仿，难以学习元素间的相关性。

识别器：能从大局考虑，但是在没有办法获取所有可能样本的情况下，难以生成合理内容，负样本采样也困难

参考 https://zhuanlan.zhihu.com/p/57174645

https://zhuanlan.zhihu.com/p/49750523

https://www.jianshu.com/p/ddab090b1e28

15-RL

agent学习采取行动以获得最大的回报，如AlphaGo大多数情况reward=0，输-1，赢1

聊天机器人

让两个agent互相对话（可能有好有坏），产生大量对话，依据规则对其质量打分

机器人游戏

s观察->a行为->r反馈

强化学习特性

奖励延迟：机器知道得分与开火关系，但不知和右移的关系，从而不断开火；围棋中没有及时奖励会更好（诱敌之术）

agent的行为会影响之后输入的data（改变环境）

基于策略训练一个actor

输入：机器观察的向量或矩阵；输出：每个动作都对应于输出层中的一个神经元

为什么使用NN而非查询表：泛化能力强

评估函式

让actor（函式）玩游戏（随机方式选择策略），一个总回合得到总奖励R。可以表达每次奖励与几率，但是不能穷举，所以玩N次，除N，作为奖励的期望值

基于价值训练一个critic

critic不会决定动作，但会评定动作好坏

Monte-Carlo based approach：对于输入状态，把未来积累奖励输出

Temporal-difference approach：输入两状态，从两状态中间求reward

Actor和Critic的结合