最小二乘的概率解释(最大似然)

基于高斯函数的最大似然等价于最小二乘

假设输入和目标变量之间的关系为：$y^{(i)}=\theta^Tx^{(i)}+\varepsilon^{(i)}$

其中 $\varepsilon^{(i)}\sim\mathcal N(0,\delta^2)$ ， $p(\varepsilon^{(i)})=\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(\varepsilon^{(i)})^2}{2\delta^2}}$

在给定 $\theta$ 和 $x^{(i)}$ 下 $y^{(i)}$ 的概率分布：

$p(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}}$

似然函数(likelihood function)：

$L(\theta)=\prod\limits_{i=1}^mp(y^{(i)}|x^{(i)};\theta)=\prod\limits_{i=1}^m\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}}$

给定了关于 $x^{(i)}$ 和 $y^{(i)}$ 的概率模型，对于参数 $\theta$ 的最佳推测是什么？
最大似然规则告诉我们应该选择 $\theta$ 使得已知数据发生的概率尽可能高，因此我们最大化似然函数 $\max\limits_\theta L(\theta)$ 。
一般我们最大化对数似然函数：$\max\limits_\theta\ell(\theta)=\max\limits_\theta logL(\theta)$

$$\begin{aligned} \ell(\theta)&=log~L(\theta)\\ &=log\prod\limits_{i=1}^m\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}}\\ &=\sum\limits_{i=1}^mlog\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}}\\ &=mlog\frac{1}{\sqrt{2\pi}}-\sum\limits_{i=1}^m\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\delta^2}\\ &=mlog\frac{1}{\sqrt{2\pi}}-\frac{1}{2\delta^2}\sum\limits_{i=1}^m(y^{(i)}-\theta^Tx^{(i)})^2 \end{aligned}$$
在 $\varepsilon^{(i)}$ 满足高斯分布时最大化对数似然函数等价于最小二乘法：
$$\begin{aligned} \max\limits_\theta\ell(\theta)& =\max\limits_\theta\sum\limits_{i=1}^m-\frac{1}{2}(y^{(i)}-\theta^Tx^{(i)})^2\\ &=\min\limits_{\theta}\sum\limits_{i=1}^m\frac{1}{2}(y^{(i)}-\theta^Tx^{(i)})^2 \end{aligned}$$