本文介绍了频率学派在参数估计中的两种方法——最大似然估计（MLE）和最大后验估计（MAP）。MLE寻找使样本出现概率最大的参数，而MAP则在MLE基础上结合了参数的先验概率，提供了更全面的估计。
频率学派（Frequentists）：最大似然估计（MLE）与最大后验估计（MAP）
问题描述
随机变量 x x x服从分布 Ψ ( θ ) \it \Psi (\theta) Ψ(θ)，其中 Ψ \it \Psi Ψ形式已知、参数 θ \theta θ未知，即“模型已知，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。给定一组从分布 Ψ \it \Psi Ψ中独立抽取出的样本， X = { x 1 , x 2 , ⋯   , x n } \bf X \it=\{ x_1, x_2, \cdots, x_n \} X={ x1,x2,⋯,xn}，通过观测样本 X \bf X X对参数 θ \theta θ进行估计。
针对这一问题，频率学派（Frequentists）有2种估计方法：最大似然估计（maximum likelihood estimation, MLE）与最大后验估计（maximum a posteriori, MAP）。
1. 最大似然估计
MLE将参数 θ \theta θ视为未知常量，其目标是找出参数 θ \theta θ，使得分布 Ψ \it \Psi Ψ产生观测样本 X \bf X X的概率最大，即
θ ^ M L ↦ arg max θ P ( X ∣ θ ) \hat \theta_{\rm ML} \mapsto \arg \max_{\theta}P(\bf X \it | \theta) θ^ML↦argθmaxP(X∣θ)
由于 x i x_i xi独立抽取，因此
P ( X ∣ θ ) = ∏ i n P ( x i ∣ θ ) P(\bf X \it | \theta) = \prod_{i}^{n}P(x_i | \theta) P(X∣θ)=i∏nP(xi∣θ)
arg max θ P ( X ∣ θ ) = log ( arg
最低0.47元/天 解锁文章
扫一扫
5646
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
