强化学习笔记2：Finite Markov Decision Processes

马尔科夫决策过程(Markov Decision Processes, MDPs) 是时序决策的一种经典形式，每一步动作不仅影响当前的回报，还影响后续的状态和回报。因此，MDPs包含了延迟回报，需要权衡(tradeoff)当前回报和延迟回报。在赌博机问题中，我们关心每个动作的价值 $q_{\ast }(a)$；而在MDPs中，我们关心每个动作 $a$ 在状态 $s$ 下的价值 $q_{\ast }(s,a)$，同时也关心在给定乐观动作选择的情况下每个状态 $s$ 的价值 $v_{\ast }(s)$。这种依赖状态的特性，对于准确评估每个动作选择的长期效益是至关重要的。本笔记对应Sutton书的第3章。

The Agent-Environment Interface

MDPs 为解决从交互中学习从而达到目标的问题提供了一个直接的框架。

• agent：the learner and decision maker
• environment：the thing it interacts with, comprising everything outside the agent
  
  这种交互是持续进行的，在一个离散的时间序列 $t=0,1,2,3,......$ 上，agent 处于状态 $S_t$，选择动作 $A_t\in \mathcal{A}(s)$，environment 根据动作的执行作出反馈，返回新的状态 $S_{t+1}$ 给agent，并且给予一个数值化的回报 $R_{t+1}\in \mathcal{R}\subset \mathbb{R}$，agent 就是要将累积的回报值最大化。这种交互过程就给出了下面这样的一个序列或者轨道(trajectory)：
  $$S_0,A_0,R_1,S_1,A_1,R_2,S_2,A_2,R_3,.......$$所谓有限马尔科夫决策过程，就是指状态、动作、回报的集合 $(\mathcal{S},\mathcal{A},\mathcal{R})$都是有限集。在这种情况下，随机变量 $R_t$ 和 $S_t$ 服从离散概率分布，只依赖于前一次状态和动作。
  对所有 $s^{\prime },s\in \mathcal{S},r\in \mathcal{R},a\in \mathcal{A}(s)$，定义（3.2）：
  p ( s ′ , r ∣ s , a ) : = Pr ⁡ { S t = s ′ , R t = r ∣ S t − 1 = s , A t − 1 = a } p\left(s',r|s,a\right):=\Pr \{ S_t=s',R_t=r\big | S_{t-1}=s,A_{t-1}=a\} p(s′,r∣s,a):=Pr{St​=s′,Rt​=r∣∣​St−1​=s,At−1​=a} 对任意$s\in \mathcal{S},a\in \mathcal{A}(s)$，有（3.3）
  $$\sum _{s^{\prime }\in \mathcal{S}}\sum _{r\in \mathcal{R}}p\left(s^{\prime },r|s,a\right)=1$$由这样的四参数函数 $p:\mathcal{S}\times \mathcal{R}\times \mathcal{S}\times \mathcal{A}\to [0,1]$给出的概率完全刻画了一个有限MDP。利用它，我们可以计算出关于 enviroment 的任何信息，比如：
• 状态迁移概率(state-transition probabilities)：$p:\mathcal{S}\times \mathcal{S}\times \mathcal{A}\to [0,1]$
  p ( s ′ ∣ s , a ) : = Pr ⁡ { S t = s ′ ∣ S t − 1 = s , A t − 1 = a } = ∑ r ∈ R p ( s ′ , r ∣ s , a ) ( 3.4 ) p\left(s'|s,a\right):=\Pr\{S_t=s'|S_{t-1}=s,A_{t-1}=a\}=\sum_{r\in\mathcal R}p(s',r|s,a)\qquad(3.4) p(s′∣s,a):=Pr{St​=s′∣St−1​=s,At−1​=a}=r∈R∑​p(s′,r∣s,a)(3.4)
• expected rewards for state-action：$r:\mathcal{S}\times \mathcal{A}\to \mathbb{R}$
  $$r(s,a):=\mathbb{E}\left[R_t|S_{t-1}=s,A_{t-1}=a\right]=\sum _{r\in \mathcal{R}}r\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime },r|s,a)(3.5)$$
• expected rewards for state-action-next-state：$r:\mathcal{S}\times \mathcal{A}\times \mathcal{S}\to \mathbb{R}$
  $$r(s,a,s^{\prime }):=\mathbb{E}\left[R_t|S_{t-1}=s,A_{t-1}=a,S_t=s^{\prime }\right]=\sum _{r\in \mathcal{R}}r\frac{p(s^{\prime },r|s,a)}{p(s^{\prime }|s,a)}(3.6)$$

如何区分 agent 和 environment？The general rule we follow is that anything that cannot be changed arbitrarily by the agent is considered to be outside of it and thus part of its environment. We do not assume that everything in the environment is unknown to the agent. The agent-environment boundary represents the limit of the agent’s absolute control, not of its knowledge.

MDP框架是对基于目标导向的交互学习问题的一种很好的抽象。不管问题涉及到感觉、记忆和控制装置的何种细节，也不管要达到什么样的目标，任何基于目标导向的学习都被它抽象成 agent 和 environment 之间来回传递的三种信号：

• 一个信号代表了 agent 作出的选择 (actions)
• 一个信号代表了 agent 作出选择的基础 (state)
• 一个信号代表了 agent 的目标 (rewards)

【习题3.4】If the current state is $S_t$, and actions are selected according to stochastic policy $\pi$, then what is the expectation of $R_{t+1}$ in terms of the four-argument function $p$ (3.2)?
解答：
$$\mathbb{E}\left[R_{t+1}|S_t=s\right]=\sum _{a\in \mathcal{A}(s)}r(s,a)\pi (a)=\sum _{a\in \mathcal{A}(s)}\pi (a)\left(\sum _{r\in \mathcal{R}}\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime },r|s,a)\right)$$

Example：回收机器人(Recycling Robot MDP)

场景是一个移动机器人在办公室里收集空的汽水瓶，它有用于检测汽水瓶的传感器，和一个可以拿起它们的手臂和夹钳。机器人控制系统具有感知感官信息、导航和控制手臂和夹钳的组件，而如何搜索汽水瓶的高级决策是由强化学习 agent 基于当前电池水平做出的。这个 agent 需要决定机器人是否做以下动作：(1) 主动搜索汽水瓶一段时间；(2) 保持静止等待别人把汽水瓶拿来；(3) 返回基地充电。这个决定可以周期性地做出，也可以由某些外部事件触发比如发现了空汽水瓶。因此，该 agent 具有三个动作，并且状态主要由电池的状态决定。在大多数时候，回报可能是零，但是当机器人回收一个空的汽水瓶时，回报就会变成正值；如果电池一直消耗，回报也可能变成很大的负值。现在对 environment 做一些假设：发现汽水瓶的最好途径显然是主动搜索，但是这会消耗电池，而静止等待不会。每当机器人主动搜索时，都存在电池耗尽的可能性，在这种情况下，机器人必须关闭并充电（产生低回报）。
\qquad 现在就可以建立MDP模型了：用电池的电量 S = { h i g h , l o w } \mathcal S=\{high,low\} S={high,low}表示状态集，机器人可选择的动作集为 A = { w a i t , s e a r c h , r e c h a r g e } \mathcal A=\{wait, search, recharge\} A={wait,search,recharge}。当电池电量充足时，充电显然是愚蠢的，所以我们可以定义
A ( h i g h ) : = { s e a r c h , w a i t } \mathcal A(high):=\{search, wait\}\qquad\qquad A(high):={search,wait} A ( l o w ) : = { w a i t , s e a r c h , r e c h a r g e } \mathcal A(low):=\{wait, search, recharge\} A(low):={wait,search,recharge}假设在电池充足的状态下，主动搜索一段时间，电量仍然充足的概率为 $\alpha$，电量不充足的概率为 $1-\alpha$。另一方面，在电池不充足的状态下，主动搜索一段时间，电量仍然不充足的概率为 $\beta$，电量耗尽的概率为 $1-\beta$。在电池耗尽的情况下，机器人必须充电，然后状态又返回为电量充足。每回收一个汽水瓶，机器人得到1个单位的回报；而充电给予 $-3$ 的回报。用 $r_{search}$ 和 $r_{wait}$ 分别表示机器人在主动搜索和静止等待的情况下回收汽水瓶的期望个数，假设 $r_{search}>r_{wait}$。最后，为了简单起见，假设机器人在跑回家充电时不能收集汽水瓶，在电池耗尽的情况下不能收集汽水瓶。
\qquad 这样就构建了一个有限MDP的模型，它的状态迁移概率和期望回报见下表：

我们通常使用迁移图(transition graph)来描述有限MDP的运作流程：
\qquad\qquad\qquad

Goals and Rewards

回报假设(reward hypothesis): 我们所说的目标和目的可以被很好地理解为接收标量信号(称为回报)的累积和的期望值的最大化。That all of what we mean by goals and purposes can be well thought of as the maximization of the expected value of the cumulative sum of a receive scalar signal (called reward).

Returns and Episodes(片断)

如何定义累积回报？
\qquad 假设在时间 $t$ 之后的回报序列为 $R_{t+1},R_{t+2},R_{t+3}...$，我们可以定义一个关于此序列的函数 $G_t$，称为期望返回值(expected return)，我们的目标就是要将 $G_t$ 最大化。
\qquad 最简单的一个例子是$$G_t:=R_{t+1}+R_{t+2}+......+R_T(3.7)$$其中 $T$ 是一个终止时间点(final time step)。在实际应用中，(3.7)有意义需要自然存在这么一个终止时间点(final time step)，也就是说 agent-environment interaction 可以自然地划分为一些子序列，我们称之为片断(episodes)。每一个片断在一个特殊状态终止，我们称之为终止态(terminal state)，终止态之后紧接着一个开始态(starting state)或者是满足标准分布的开始态集中的一个样本。不管片断是以何种方式终止，比如获胜或者输掉一个比赛，下一个片断的开始与前一次片断没有关联。因此，所有片断可以被认为是结束于同样的终止态，只是回报和产出不同。我们称带有这种片断的任务为片断任务(episode tasks)。在片断任务中，我们用 $\mathcal{S}$ 表示所有非终止态组成的集合，${\mathcal{S}}^{+}$ 表示所有状态的集合(包括终止态)。终止时间 $T$ 是一个随机变量，从一个片断切换到另一个片断。
\qquad 而对于无法划分为片断的任务，我们称之为连续任务(continuing tasks)，上面的公式(3.7)就没有意义，此时需要引入折扣(discounting)的想法。定义期望折扣返回值(expected discounted return)：
$$G_t:=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}(3.8)$$其中参数 $\gamma$ 满足 $0\le \gamma \le 1$ 称为折扣率(discount rate)。显然，只要 { R k } \left\{R_k\right\} {Rk​} 有界并且 $\gamma <1$，那么(3.8)就是一个有限值。特别地，如果 $\gamma =0$，说明 agent 只关心当前回报，称之为近视(myopic)；相反 $\gamma$ 越接近于1，未来回报所占有的比重就越大，agent 就变得远视(farsighted)。
\qquad 显然有如下的递归关系：
$$G_t=R_{t+1}+\gamma G_{t+1}(3.9)$$其中 $t<T$。
【习题3.6】The equations in Section 3.1 are for the continuing case and need to be modi fied (very slightly) to apply to episodic tasks. Show that you know the modifi cations needed by giving the modifi ed version of (3.3).
解答：？
【习题3.7】Suppose you treated pole-balancing as an episodic task but also used discounting, with all rewards zero except for ?1 upon failure. What then would the return be at each time? How does this return differ from that in the discounted, continuing formulation of this task?
解答：？
【习题3.8】Imagine that you are designing a robot to run a maze(迷宫). You decide to give it a reward of +1 for escaping from the maze and a reward of zero at all other times. The task seems to break down naturally into episodes|the successive runs through the maze|so you decide to treat it as an episodic task, where the goal is to maximize expected total reward (3.7). After running the learning agent for a while, you find that it is showing no improvement in escaping from the maze. What is going wrong? Have you effectively communicated to the agent what you want it to achieve?
解答：？
【习题3.9】Suppose $\gamma =0.5$ and the following sequence of rewards is received $R_1=-1,R_2=2,R_3=6,R_4=3$ and $R_5=2$ with T = 5. What are $G_0,G_1,...,G_5$?
解答：
$G_5=0;$
$G_4=R_5=2；$
$G_3=R_4+\gamma G_4=3+0.5\times 2=4；$
$G_2=R_3+\gamma G_3=6+0.5\times 4=8；$
$G_1=R_2+\gamma G_2=2+0.5\times 8=6；$
$G_0=R_1+\gamma G_1=-1+0.5\times 6=2.\square$
【习题3.10】Suppose $\gamma =0.9$ and the reward sequence is $R_1=2$ followed by an infi nite sequence of $7s$. What are $G_1$ and $G_0$?
解答：
$G_1=R_2+\gamma R_3+{\gamma }^2{R}_4+...=7+7\gamma +7{\gamma }^2+...=7\cdot \frac{1}{1-\gamma }=70$
$G_0=R_1+\gamma G_1=2+0.9\times 70=65.\square$

Unifi ed Notation for Episodic and Continuing Tasks

$S_{t,i}$ : the state representation at time $t$ of episode $i$ ，类似有 $A_{t,i},R_{t,i},{\pi }_{t,i},T_i$。
在讨论片断任务时，通常只会研究一个特定的片断，所以为简单起见，用 $S_t$ 替代$S_{t,i}$，其它标记类似。
期望返回值可以统一成
$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}{R}_k$$其中包括 $T=\infty$ 或者 $\gamma =1$ 这两种情况 (但不能同时满足)。

Policies and Value Functions

策略(policy)：在某一状态下选取每种可能动作的概率，记为 $\pi (a|s)$.
价值(value)：在某一状态下利用某种策略可获得的期望回报值。
状态价值函数(state-value function for policy $\pi$)：
$$v_{\pi }(s):={\mathbb{E}}_{\pi }\left[G_t|S_t=s\right]={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s\right]$$动作价值函数(action-value function for policy $\pi$)：
$$q_{\pi }(s,a):={\mathbb{E}}_{\pi }\left[G_t|S_t=s,A_t=a\right]={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a\right]$$Bellman equation for $v_{\pi }$：
$v_{\pi }(s)={\mathbb{E}}_{\pi }\left[G_t|S_t=s\right]$
$={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]$
$$=\sum _a\pi (a|s)\sum _{s^{\prime }}\sum _{r}p(s^{\prime },r|s,a)\left[r+\gamma {\mathbb{E}}_{\pi }\left[G_{t+1}|S_{t+1}=s^{\prime }\right]\right]$$$$=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma v_{\pi }(s^{\prime })\right](3.14)$$ \qquad\qquad\qquad\qquad\qquad\qquad
Example3.6：网格字(Gridworld)
图3.3中用矩形网格构建了一个MDP，其中每一个小格代表了一个状态，在每个状态下有4个动作可选择：东、西、南、北。执行每个动作，都可将 agent 移动到所选择的方向中的某一个小格；如果执行某个动作后，agent 会离开网格，那么此时保持 agent 原位不动，并且给予 $-1$ 分。从 $A$ 到 $A^{\prime }$ 的 4 个动作每个得 $+10$ 分；从 $B$ 到 $B^{\prime }$ 的 2 个动作，每个得 $+5$ 分；其它所有动作得 0 分。
\qquad 假设在任何小格选择 4 个动作的概率是一样的，并且设定折扣率 $\gamma =0.9$，那么图3.3的最右边的方格就给出了价值函数。价值函数是通过计算由(3.14)给出的Bellman方程组得到的。注意到，在下面几行，每个状态的价值都是负值，这是因为在随机策略下它们有很高的概率将 agent 移出网格；$A$ 是最好的状态，但是它的期望回报8.8却小于它的眼前回报10，这是因为从$A$移到$A^{\prime }$时$A^{\prime }$的价值为负值，会抵消眼前回报。另一方面，$B$的眼前回报最高是5，可是它的期望回报却有5.3，大于5，这是因为从$B$移到了$B^{\prime }$，而$B^{\prime }$的价值是大于0的。$\square$

【习题3.12】The Bellman equation (3.14) must hold for each state for the value function $v_{\pi }$ shown in Figure 3.3 (right) of Example 3.6. Show numerically that this equation holds for the center state, valued at $+0.7$, with respect to its four neighboring states, valued at $+2.3$, $+0.4$, $-0.4$, and $+0.7$. (These numbers are accurate only to one decimal place.)
解答：现在 $s$ 表示中心小格对应的状态，在(3.14)式中对所有 $a$ 有 $\pi (a|s)=\frac{1}{4}$。从中心位置往任何方向移动，都有2个小格可选择，所以对所有 $a,s^{\prime },r$ 有 $p(s^{\prime },r|s,a)=\frac{1}{2}$；此外，在中心位置选择任何方向移动，当前回报 $r$ 都为 0。因此，我们有：
$$v_{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\left[r+\gamma v_{\pi }(s^{\prime })\right]$$$$=\sum _a\frac{1}{4}\sum _{s^{\prime },r}\frac{1}{2}\cdot 0.9\cdot v_{\pi }(s^{\prime })$$$$=\frac{1}{8}(4.4+2.3+0.1+0.7-0.4-1.2+0.4-0.4)$$$=0.74\square$

【习题3.13】What is the Bellman equation for action values, that is, for $q_{\pi }$? It must give the action value $q_{\pi }(s,a)$ in terms of the action values, $q_{\pi }(s^{\prime },a^{\prime })$, of possible successors to the state{action pair $(s,a)$. Hint: the backup diagram to the right corresponds to this equation. Show the sequence of equations analogous to (3.14), but for action values.
\qquad\qquad\qquad\qquad\qquad\qquad
解答：
$q_{\pi }(s,a):={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]$
$={\mathbb{E}}_{\pi }[R_t+\gamma G_{t+1}|S_t=s,A_t=a]$
$$=\sum _{s^{\prime }}\sum _{r}p(s^{\prime },r|s,a)\sum _{a^{\prime }}\pi (a^{\prime }|s)\mathbb{E}[G_{t+1}|S_{t+1}=s^{\prime },A_{t+1}=a^{\prime }]$$$$=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\sum _{a^{\prime }}\pi (a^{\prime }|s)\left(r+\gamma q_{\pi }(s^{\prime },a^{\prime })\right)\square$$

Example3.7: Golf 此例中将打高尔夫球作为一项强化学习任务，每一杆记$-1$分作为惩罚(penalty)直到将球打到洞中。球的位置作为状态，一个状态的价值是从这个位置将球打入洞中所需杆数的负值；我们的动作是如何瞄准和摇摆球，以及选择哪个击棍(club)。假设前面的选项已经给定了，我们只考虑击棍的选择，并且假设是轻击球杆(putter)或者球棒(driver)。图3.4的上半部分展示了一种状态价值函数 $v_{putt}(s)$，这里采用的策略是一直选用 putter。终止态 in the hole 的价值为 0。从绿色部分的任何一处，我们假设都可以采用 putter 将球推入洞中，这些状态的价值为 $-1$。在绿色部分以外，我们无法采用 putter 将球推入洞中，所以它们的价值变得越来越小。图中黄色部分是个沙坑(sand traps)，采用 putter 无法将球从沙坑中推出，所以它们的价值为 $-\infty$。

【习题3.14】In the grid-world example, rewards are positive for goals, negative for running into the edge of the world, and zero the rest of the time. Are the signs of these rewards important, or only the intervals between them? Prove, using (3.8), that adding a constant $c$ to all the rewards adds a constant, $v_c$, to the values of all states, and thus does not affect the relative values of any states under any policies. What is $v_c$ in terms of $c$ and $\gamma$?
解答：回忆(3.8)式
$$G_t=R_{t+1}+\gamma R_{t+2}+....+{\gamma }^{T-t-1}{R}_T$$现在假设每一次的回报都增加一个常数 $c$，其期望折扣返回值为
$$G_{t,c}=R_{t+1,c}+\gamma R_{t+2,c}+....+{\gamma }^{T-t-1}{R}_{T,c}$$$$=(R_{t+1}+c)+\gamma (R_{t+2}+c)+....+{\gamma }^{T-t}(R_T+c)$$$$=c+\gamma c+{\gamma }^{2}c+...+{\gamma }^{T-t}c+G_t$$$$=c\cdot \frac{1-{\gamma }^{T-t}}{1-\gamma }+R_{t+1}+\gamma R_{t+2}+....+{\gamma }^{T-t-1}{R}_T$$定义 $v_c=c\cdot \frac{1-{\gamma }^{T-t}}{1-\gamma }$，可以计算出每个状态的价值都相差一个$v_c$，不影响它们的相对价值：
$$v_{\pi ,c}(s)={\mathbb{E}}_{\pi }[G_{t,c}|S_t=s]={\mathbb{E}}_{\pi }[v_c+G_t|S_t=s]=v_c+v_{\pi }(s)$$所以，每一步的回报中的符号并不重要，只是方便计算和理解而已。$\square$

【习题3.15】Now consider adding a constant $c$ to all the rewards in an episodic task, such as maze(迷宫) running. Would this have any effect, or would it leave the task unchanged as in the continuing task above? Why or why not? Give an example.

【习题3.16】The value of a state depends on the values of the actions possible in that state and on how likely each action is to be taken under the current policy. We can think of this in terms of a small backup diagram rooted at the state and considering each possible action:
\qquad\qquad\qquad
Give the equation corresponding to this intuition and diagram for the value at the root node, $v_{\pi }(s)$, in terms of the value at the expected leaf node, $q_{\pi }(s,a)$, given $S_t=s$. This equation should include an expectation conditioned on following the policy, $\pi$. Then give a second equation in which the expected value is written out explicitly in terms of $\pi (a|s)$ such that no expected value notation appears in the equation.
解答：状态价值函数和此状态中可选择的动作相应的动作价值函数的关系为
$$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$$此公式中 $q_{\pi }(s,a)$ 是一个期望值，我们可以进一步地计算（去除期望值）HOW???

【习题3.17】The value of an action, $q_{\pi }(s,a)$, depends on the expected next reward and the expected sum of the remaining rewards. Again we can think of this in terms of a small backup diagram, this one rooted at an action (state-action pair) and branching to the possible next states:
\qquad\qquad\qquad\qquad
Give the equation corresponding to this intuition and diagram for the action value, $q_{\pi }(s,a)$, in terms of the expected next reward, $R_{t+1}$, and the expected next state value, $v_{\pi }(S_{t+1})$, given that $S_t=s$ and $A_t=a$. This equation should include an expectation but not one conditioned conditioned on following the policy. Then give a second equation, writing out the expected value explicitly in terms of $p(s^{\prime },r|s,a)$ de fined by (3.2), such that no expected value notation appears in the equation.