统计推断基础

内容参考自Quora回答

根据随机变量分布进行统计推断

假定有一个随机变量$Y$，已知其分布。如果要获得对该变量的一个最合理估计值，应该取多少呢？
如果记随机变量$Y$的估计值为$t$，则随机变量估计值的平方误差期望值可以表示为：

$$E[(Y-t)^2] \\ =E(Y^2 - 2Yt + t^2)\\ =E(Y)^2 - 2tE(Y) + t^2$$
上式对$t$求导，可以得到
$$-2E(Y) + 2t = 0\\ t = E(Y)$$
由此可以得出，如果要最小化估计值的期望平方误差，那么最优的估计值$t =E(Y)$。

基于额外数据进行推断

进一步地，假设我们不仅了解随机变量$Y$的概率分布，还收集到了一些受随机变量$Y$影响的数据$X$，此时，我们对于$Y$的最优推断将利用这些有用的数据。记$T(X)$为根据数据$X$得到的对随机变量$Y$的估计值，此时平方误差损失记为：

$$E[(Y - T(X))^2]$$
当 $X$取值为$x$时，平方误差损失记为：
$$E[(Y - T(x))^2|X=x]$$
根据第一小节的结论，此时 $T(x)$的最优估计值为 $E(Y|X=x)$。因此，对于任意的估计取值 $T(X)$:
$$E[(Y - E(Y|X=x)) ^2|X=x]\\ <=E[(Y-T(X))^2|X=x]$$
由于上式对任意点处 $x$均成立，因此，对上式左右两边求期望得到的平均值也成立：
$$E\{E[(Y - E(Y|X=x)) ^2|X=x]\}\\ <=E\{E[(Y-T(X))^2|X=x]\}$$
进一步推导可得：
$$E[(Y - E(Y|X)) ^2]\\ <=E[(Y-T(X))^2]$$
由此可以得出结论：条件期望 $E(Y|X)$是最优估计值。