Off-policy evaluation的一些知识点

最近做试验中遇到用off-policy数据估计策略性能提升的问题，估计的准确性直接影响到后面对这些数据的利用。然后就一不小心看到了一个RL的未接触过得领域----Off-Policy Evaluation（OPE）。发现有篇综述介绍的很详细，并且给出了benchmark，所以简单记录一下这个领域的一些概念和当前研究的进展及其分类，详细了解转[PAPER]。

OPE的定义

首先是off-policy evaluation问题的定义，直接来说就是利用behavior policy ${\pi }_b$采样的数据来评估target policy ${\pi }_e$的价值函数$V({\pi }_e)$。具体的数学定义如下：

Definition：行为策略${\pi }_b$采样的历史数据$D={\left\{{\tau }^i\right\}}_{i=1}^N$，以轨迹样本${\tau }^i=(x_0^i,a_0^i,r_0^i,\cdots ,x_{T-1}^i,a_{T-1}^i,r_{T-1}^i)$为单位样本，其中轨迹长度$T$一般定长；OPE的目标是估计一个给定的目标策略${\pi }_e$的价值函数:
V ( π e ) = E x ∼ d 0 [ ∑ t = 0 T − 1 γ t r t ∣ x 0 = x ] V(\pi_e)=\mathbb{E}_{x\sim d_0}\left[\sum^{T-1}_{t=0}\gamma^t r_t|x_0=x\right] V(πe​)=Ex∼d