区分【生成方法】与【判别方法】

生成方法

由数据学习联合概率分布P（X,Y）,然后求出条件概率分布P（Y|X）作为预测的模型，生产模型：P(Y|X)=P(X,Y)/P(X)
模型表示了给定输入X产生输出Y的生成关系。
代表方法：隐马尔可夫模型，朴素贝叶斯模型
优点：收敛快，允许存在隐变量

判别方法

由数据直接虚席决策函数f(x)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。关心的是对给定的输入X，应该预测什么样的输出Y。
代表方法：感知机，k近邻法，决策树，逻辑斯的回归模型，最大熵模型，支持向量机，提升方法个条件随机场。
优点：准确率高，简化学习