人工智能实训 第二十一章 强化学习

任务描述

本关任务：学习了解本章内容并完成对应习题。

相关知识

为了完成本关任务，你需要掌握：1. 被动强化学习；2. 主动强化学习；3. 强化学习中的泛化；4. 策略搜索；5. 强化学习的应用。

被动强化学习
基本思路:

以rewards的形式接收反馈
Agent 的效用由reward函数定义
行为最大化rewards
所有的行为基于观察到的产出样本
简化任务：策略评估

输入：一个确定的策略π(s)，未知T(s,a,s’)，未知rewards R(s,a,s’)。

目标：学习状态值。

在这种情况下：Learner is “along for the ride”，需要采取什么行动没有选择，只是执行政策和从经验中学习，这不是离线规划! 你真正采取行动。

主动强化学习
完全强化学习:

最优策略：无需知道转换T(s,a,s’)，你无需知道奖励R(s,a,s’)，选择行为。

目标: 学习最优策略/值

在这种情况下：学习者做出抉择!

基本权衡：勘探 vs 开发

这个不是离线规划！你采取行动并找出发生的情况。

强化学习中的泛化
函数逼近器对于参数是线性的时候，可以证明这些更新规则能够收敛到对真实函数的最近可能近似。

策略搜索
只要性能还在改进就保持对策略的调整，然后停止。

强化学习中的应用
在游戏中的应用：下棋程序、时序差分西洋双陆棋。

在机器人控制中的应用：小车连杆平衡问题、直升机飞行。

开始你的任务吧，祝你成功！