机器学习中的判别模式和生成模式

判别式模型与生成式模型

参考资料：https://www.zhihu.com/question/20446337
                http://blog.163.com/huai_jing@126/blog/static/1718619832011227757554/

生成式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：（对于输入x，类别标签y）

1. 生成式模型估计它们的联合概率分布P(x,y)
2. 判别式模型估计决策函数F(X)或条件概率分布P(y|x)
3. 生成式模型可以根据贝叶斯公式得到判别式模型，但反过来不行

常见的生成式模型
1. 判别式分析
2. 朴素贝叶斯Native Bayes
3. 混合高斯型Gaussians
4. K近邻KNN
5. 隐马尔科夫模型HMM
6. 贝叶斯网络
7. sigmoid belief networks
8. 马尔科夫随机场Markov random fields
9. 深度信念网络DBN
10. 隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)
11. 多专家模型（the mixture of experts model）

changjian判别式模型
1. 线性回归linear regression
2. 逻辑回归logic regression
3. 神经网络NN
4. 支持向量机SVM
5. 高斯过程Gaussian process
6. 条件随机场CRF
7. CART(Classification and regression tree)
8. Boosting