统计学习方法 课后题1

第一章

统计学习方法三要素：模型、策略、算法。
模型

• 概率模型

• 伯努利模型 ： 定义在取值为0,1的随机变量上的概率分布（条件概率分布）

• 0-1分布
  $p(x) = \theta^x(1-\theta)^{1-x}$ ,随机变量$x$只取0,1两个值

• 二项分布
  $p_n(k)=C_n^k\theta^k(1-\theta)^{n-k}$ ,表示$x=1$发生$k$次的概率, $\theta$ 表示每一次实验$x=1$的概率

• 经验风险：
  $$R_{emp}=\frac{1}{N}\sum_{i=1}^N(L(x_i,f(x_i)))$$
• 结构风险：
  $$R_{srm}=\frac{1}{N}\sum_{i=1}^N(L(x_i,f(x_i)))+\lambda J(f)$$

策略

• 极大似然：经验风险最小化。
  模型为条件概率分布，损失函数为对数损失函数时，经验风险最小化等价于极大似然估计。
• 贝叶斯估计：结构风险最小化。
  模型为条件概率分布，损失函数为对数损失函数，模型复杂度由模型先验概率表示时，结构风险最小化等价于最大后验概率估计。

算法

• 极大似然估计：最大化似然函数，求取能使似然函数最大的值
• 贝叶斯估计：最大后验概率估计，求取能使其后验分布最大的值

假设随机变量$A_i$（独立同分布）表示第$i$次试验：

$$p(A_i=1) = \theta , p(A_i=0) = 1-\theta$$

• 极大似然估计
  似然函数：$L(\theta)= \prod_{i=1}^{n}p(A_i)=\theta^k(1-\theta)^{n-k}$
  

  $$\begin{align} \mathop{\arg\max}_{\theta} log(L(\theta)) &= \mathop{\arg\max}_{\theta} log(\theta^k(1-\theta)^{n-k}) \\ &=\mathop{\arg\max}_{\theta} (k\log\theta + (n-k)\log(1-\theta)) \\ \end{align}$$
  对$\theta$求偏导，令等式为0，可得，
  $$\frac{k}{\theta}-\frac{n-k}{1-\theta}=0$$
  解得$\theta = \frac{k}{n}$

• 贝叶斯估计
  最大后验概率估计 $p(\theta|A_1,A_2...A_n)$ , $\theta$为随机变量，$p(\theta)$为模型先验概率服从β分布$β(θ;a,b) = \frac{\theta^{a-1}(1-\theta)^{b-1}}{C}$, $C$为常数，β分布是伯努利分布的共轭先验分布
  

  $$\begin{align}p(\theta|A_1,A_2...A_n)&=\frac{p(A_1,A_2...A_n|\theta)p(\theta)}{p(A_1,A_2...A_n)} \\ & \propto p(A_1,A_2...A_n|\theta)p(\theta)\\ &=\prod_{i=1}^{n}p(A_i|\theta)p(\theta)\\ &= \theta^k(1-\theta)^{n-k}\theta^{a-1}(1-\theta)^{b-1}\\ &=\theta^{a-1+k}(1-\theta）^{b-1+n-k}\\ \end{align}$$

故

$$\mathop{\arg\max}_\theta p(\theta|A_1,A_2...A_n)\Leftrightarrow\mathop{\arg\max}_\theta \theta^{a-1+k}(1-\theta）^{b-1+n-k}$$
对等式右边取对数，求偏导，令等式为0，可得
$$\theta = \frac{a-1+k}{n+(a-1)+(b-1)}$$
其中， $a,b$的取值

$\beta$分布概率密度函数

• 条件概率分布：$P(Y|X)$
• 损失函数：$L(Y,P(Y|X))=-\log P(Y|X)$
• 似然函数：$L(\theta) = \prod_{i=1}^np(y_i|x_i,\theta)$
• 经验风险最小化：
  $$\begin{align} \min_\theta R_{emp} &= \min_\theta \frac{1}{n}\sum_{i=1}^nL(y_i, p(y_i|x_i,\theta))\\ &=\min_\theta \frac{1}{n}\sum_{i=1}^n(-log(p(y_i|x_i,\theta)) \\ &=\min_\theta -\frac{1}{n}\sum_{i=1}^nlogp(y_i|x_i,\theta)\\ &\Leftrightarrow \max_\theta \frac{1}{n}\sum_{i=1}^nlogp(y_i|x_i,\theta)\\ &=\max_\theta \frac{1}{n}log(\prod_{i=1}^{n}p(y_i|x_i,\theta))\\ &\Leftrightarrow \max_\theta L(\theta) \end{align}$$