机器学习--生成学习算法

这次的课Ng讲了一种与之前判别类算法不同的学习算法，称为生成学习算法(Generative Learning algorithms)。

一、简介

    比如一个二分类问题，判别一种动物是大象还是狗，特征量有腿长，尾巴长，毛发浓密程度，体型等。有一批数据样本，之前的方法是对所有的数据建立模型，学习特征量和标签之间的关系，对于新输入的一个特征量，通过最优参数奠定的学习模型得出它是属于大象还是狗。而今天所讲的生成学习算法的主要思想是，首先我们来看大象,我们可以对大象的样子建立一个模型，再对狗子建立一个模型，最后为了分类一种新的动物，我们可以将它分别与大象和狗子的模型进行匹配，都算出匹配结果，看看像那个更多一点。即，对p(y|x)直接学习建模的方法是判别类算法，比如逻辑回归；而对p(x|y)和p(y)建模再利用贝叶斯公式算出p(y|x)的成为生成类算法。如果y=0代表动物是大象而y=1代表动物是狗子，那么对p(x|y=0)建模就是对所有大象的特征建模，狗子类似。之后，我们可以用下面的公式来计算p(y|x):

其中分母为：

  但是要注意的是，如果我们只是要求最大的p(y|x)时的y，那么p(x)其实是不需要的，因为：

二、高斯判别分析

2.1.高维正态分布简介

GDA(Gaussian discriminant analysis)是我们接触的第一个生成类学习方法，在这个方法中，我们假设p(x|y)是服从多维正太分布的，分布概率密度为：

其中u为分布的均值向量，为分布的方差阵。

下面几幅图是一些二维正态分布的例子：

均值都是零向量，中间的方差最小，右边的方差最大。方差就反应了数据集的离散程度。这些图形都是对称的，所以协方差矩阵均为对角阵。下面三个例子的协方差矩阵的对角线元素不为0，所以其数据是互相关的：

从左到右协方差矩阵分别为：

2.2.高斯判别分析(GDA)

当我们的分类问题的特征数据