Lect1_Intro_RL

Introduction to Reinforcement Learning

The RL Problem

state

1. Environment state $S_t^e$

2. Agent state $S_t^a$

3. Information state (a.k.a. Markov state)
   Definition: a state S_t is Markov if and only if
   $$\mathbb{P}\left[S_{t+1}\mid S_t\right]=\mathbb{P}\left[S_{t+1}\mid S_1,\dots ,S_t\right]$$

Fully Observable Environments: $O_t=S_t^a=S_t^e$

Partially Observable Environments: $S_t^a\ne S_t^e$​​

Inside An RL Agent

1. Policy: 行为函数，一般用 $\pi$ 表示
2. Value Function: 评价状态或动作的好坏
3. Model: 智能体对环境的理解

Policy

a map from state to action

• Deterministic policy: $a=\pi (s)$
• Stochastic policy: $\pi (a\mid s)=\mathbb{P}[A_t=a\mid S_t=s]$

Value Function

a prediction of future reward, used to evalute the goodness/badness of states
$$v_{\pi }(s)=\mathbb{E}\left[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots \mid S_t=s\right]$$
R_t+1表示的是在状态S_t下采取动作后得到的奖励，和一般记作R_t不同

Model

• A model predicts what the environment will do next
• $\mathcal{P}$ predicts the next state
• $\mathcal{R}$ predicts the next (immediate) reward, e.g.

$$\begin{gathered} {\mathcal{P}}_{s{s}^{\prime }}^a=\mathbb{P}\left[S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right] \\ {\mathcal{R}}_s^a=\mathbb{E}\left[R_{t+1}\mid S_t=s,A_t=a\right] \end{gathered}$$

Problems within RL

Learning and Planning

Exploration and Exploitation

当存在一个较好的解决方案时，到底是选择 Exploration 更多关于环境的信息，还是 Exploitation 已知的信息去最大化奖励？二者之间的权衡问题

Prediction and Control

• Prediction: 给定一个policy，计算agent能够得到多少reward，预估未来
• Control: 确定众多的policy之中，哪一个决策能够得到最多的奖励，即最优策略

实际上二者是一个递进的关系，在RL中，通过解决预测问题来解决控制问题

用如下例子说明：

Prediction:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xr1nVjfP-

• 除了从A～A’和B～B’，其他步骤的反馈都是-1
• Policy 是上下左右采取的概率都是25%

基于上述规则计算出Value Function 如上图 (b) 所示

Control:

背景和上面一样，这时行为模式policy是未知的，我们需要解决控制问题，求出最优的Value Function，这样最优的policy顺其自然就出来了