文章标题

模式识别复习demo
3.3贝叶斯估计
在损失函数为$\lambda(\theta,\hat{\theta})=(\theta-\hat{\theta})$时，贝叶斯估计量为：
$\theta^*=\arg \min_{\hat{\theta}} R(\hat{\theta}|X) \\ \quad=E(\theta|X)$

最大斯然估计与贝叶斯估计比较

最大似然估计方法优点：
计算简单，贝叶斯估计方法通常需要计算复杂的积分
易于理解，最大斯然估计给出的是参数的一个最佳估计结果。

一些问题

概率密度函数估计的准确性与分类器性能的关系
导致分类器产生误差的因素：
贝叶斯误差
这种误差是由于不同的类条件概率分布函数之间的相互重叠引起的,是问题本身所有固有的，在分类器设计阶段是无法消除的
模型误差
选择了不正确的模型所导致的分类误差
估计误差
由于采用有限样本进行估计所带来的误差
增加样本量
采用更好的估计方法
维数灾难
在估计一维概率密度函数时用数百个样本一般可以得到较好的结果，但是维数爆炸。D维：100个点，有100^d个样本
解决思路：
减小维数灾难的思路
特征之间的独立性$p(x,y)=p(x)p(y)$
大量的高维数据实际上嵌入在一个低维的流形上
过拟合
对于训练样本以外的其他样本的预测能力被称作做泛化能力，或推广能力
用最小二乘方法来寻找模型的参数是最大似然的一个特例
过拟合问题是最大似然方法的一个普遍特性
采用Bayesian方法可以避免过拟合问题
加入正则化方法
AIC： Akaike信息准则
BIC： Bayesian信息准则 ，AIC的一个变形
减少参数的方法
- 使用参数化模型
- 使用共享参数
- 采用简单模型
- 低阶的多项式
- 假设协方差阵为对角阵
- 具有更少参数的模型