《白话强化学习与PyTorch》第6章 深度学习----读书笔记

为什么要将深度学习和强化学习结合起来？

在那些相对较为复杂的环境中，有关传统强化学习的知识在实际应用中可能不足以解决问题。随着场景的复杂化，尤其是在期望以输入图像为State的场景中（希望机器人只是看看屏幕，看看奖励值，就能自己完成一系列进化工作），描述State所使用的维度也需要相应增加。

“传统篇”

如何靠谱地估算下一个状态的价值或者下一个状态下一个动作的价值，如何通过贝尔曼方程对奖励值进行有效回溯，以及如何通过统计学的手段（例如，多次测量取平均值）来逐步把这个价值估算准确。可以说，这一系列问题，都是在处理低纬度的State数据问题。

在实际工作中，由于我们期望的State输入较为复杂，例如一幅图片，一个连续的视频流，如果再使用传统的机器学习算法或者统计学方法，就有些捉襟见肘了。这个时候，需要一些功能更为强大的方案加入进来，帮我们解决相关的搜索问题。

深度学习

1.较强的对分类和回归问题的拟合能力

深度学习：较高的VC维，在分类和回归问题上很好的拟合能力

但需要更多的样本，复杂的正则化技巧解决过拟合问题。

2.较高的泛化能力

卷积层：降低过拟合，提高泛化性，减少参数的数量

池化层：降采样处理，缩小它的尺寸，从而在一定程度上继续提高泛化性，减少参数的数量

End-to-End：从原始的输入到输出，其间训练者不再进行任何特殊的加工。例如，在针对游戏的强化学习中，输入为游戏画面，输出为动作。