分类器的两类形式

在对GAN进行学习的过程中参考了一些好的文章，在此总结出来自己认为有意义的学习笔记。

参考原文：http://blog.csdn.net/zouxy09/article/details/8195017

一  决策函数Y=f(X)

输入一个X，它就输出一个Y，Y与一个阈值比较，根据比较结果判定X属于哪个类别。

例如两类（w1和w2）分类问题，如果Y大于阈值，X就属于类w1，如果小于阈值就属于类w2。

二  条件概率分布P(Y|X)

输入一个X，它通过比较它属于所有类的概率，然后输出概率最大的那个作为该X对应的类别。

例如：如果P(w1|X)大于P(w2|X)，那么认为X属于w1类。

上面两个模型都可以实现对给定的输入X预测相应的输出Y的功能。

通过条件概率分布P(Y|X)进行预测可以转化成决策函数Y=f(X)的形式：两类w1和w2，那么求得了P(w1|X)和P(w2|X)，实际上判别函数就可以表示为Y= P(w1|X)/P(w2|X)，如果Y大于1或者某个阈值，那么X就属于类w1，如果小于阈值就属于类w2。

同样，决策函数Y=f(X)也是隐含着使用P(Y|X)的：因为一般决策函数Y=f(X)是通过学习算法使你的预测和训练数据之间的误差平方最小化，虽然没有显式的运用贝叶斯或者以某种形式计算概率，但它实际上也是在隐含的输出极大似然假设（MAP假设）。也就是说学习器的任务是在所有假设模型有相等的先验概率条件下，输出极大似然假设。

所以，分类器的设计就是在给定训练数据的基础上估计其概率模型P(Y|X)。