基于高斯函数的最大似然等价于最小二乘
假设输入和目标变量之间的关系为: y(i)=θTx(i)+ε(i)
其中 ε(i)∼(0,δ2) , p(ε(i))=12π√δe−(ε(i))22δ2
在给定 θ 和 x(i) 下 y(i) 的概率分布:
p(y(i)|x(i);θ)=12π√δe−(y(i)−θTx(i))22δ2
似然函数(likelihood function):
L(θ)=∏i=1mp(y(i)|x(i);θ)=∏i=1m12π√δe−(y(i)−θTx(i))22δ2
给定了关于
x(i)
和
y(i)
的概率模型,对于参数
θ
的最佳推测是什么?
最大似然规则告诉我们应该选择
θ
使得已知数据发生的概率尽可能高,因此我们最大化似然函数
maxθL(θ)
。
一般我们最大化对数似然函数:
maxθℓ(θ)=maxθlogL(θ)
ℓ(θ)=log L(θ)=log∏i=1m12π‾‾‾√δe−(y(i)−θTx(i))22δ2=∑i=1mlog12π‾‾‾√δe−(y(i)−θTx(i))22δ2=mlog12π‾‾‾√−∑i=1m(y(i)−θTx(i))22δ2=mlog12π‾‾‾√−12δ2∑i=1m(y(i)−θTx(i))2
在 ε(i) 满足高斯分布时最大化对数似然函数等价于最小二乘法:
maxθℓ(θ)=maxθ∑i=1m−12(y(i)−θTx(i))2=minθ∑i=1m12(y(i)−θTx(i))2