根均方误差(RMS)
ERMS=2E(w∗)/N−−−−−−−−−√
其中,除以
N
让我们能够以相同的基础对比不同大小的数据集,平方根确保了
生成模型和判别模型
判别方法:由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。典型的判别模型包括k近邻,感知级,决策树,支持向量机等。
生成方法:由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。典型的生成模型有:朴素贝叶斯和隐马尔科夫模型等。
生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。
贝叶斯定理、似然函数
贝叶斯定理右侧变量 p(D|w) 由观测数据集 D 来估计,可以看成是参数向量
频率学家广泛使用的一个估计是最大似然( maximum likelihood)估计,其中
高斯分布
N(x|μ,σ2)=1(2πσ2)1/2exp{−12σ2(x−μ)2}
E[x]=μ;E[x2]=μ2+σ2;var[x]=σ2
反对法
监控