[机器学习]贝叶斯估计

ref: 《模式分类》（Richard O. Duda）chapter 3

1. 贝叶斯估计：

   把待估计的参数看成是符合某种先验概率分布的随机变量。

   最佳估计：对样本进行观测的过程，就是把先验概率密度转化为后验概率密度，

                     这样就利用样本的信息修正了对参数的初始估计值。

2.具体推导过程

贝叶斯估计的核心：由先验概率、类条件概率密度，计算后验概率。

已有样本集D，贝叶斯公式如下：

(1)

因为 1）先验概率可以事先得到，故P(wi|D)记为P(wi)

        2）i!=j时，Dj中的训练样本 对p(x|wi,D)没有影响，故p(x|wi,D)记为p(x|wi,Di)

所以，(1)变为：