【机器学习】正态分布的判别函数

最新推荐文章于 2024-02-05 10:19:33 发布

艾尔伦

最新推荐文章于 2024-02-05 10:19:33 发布

阅读量5.1k

点赞数 3

分类专栏： Machine Learning 文章标签：正态分布判别函数

本文链接：https://blog.csdn.net/zhuangxiaobin/article/details/27957531

版权

Machine Learning 专栏收录该内容

8 篇文章 3 订阅

订阅专栏

一、分类器，判别函数和判定面

（1）多分类情况：有很多种方法来表述模式分类器，其中用的最多的是一种判别函数 $g_i(x),i=1,...,c$ 的形式，如果对于所有的 $j\neq i$ ,有 $g_i(x)>g_j(x)$ ,则此分类器将这个特征x判为 $\omega _i$ ，因此，此分类器可视为一个计算 $c$ 个判别函数并选取与最大判别值对应的类别的网络或机器。

（2）二分类情况：尽管二分类是多分类的一个特例，却通常被单独拿出来研究，有一个专门的名字叫“二分分类器”。它一般不是仿照多分类的情况，如果 $g_1(x)>g_2(x)$ 则判别为 $\omega_1$ ,而是用一个简单的判别函数 $g_(x)\equiv g_1(x)-g_2(x)$ ,如果 $g_(x)>0$ ,则判为 $\omega_1$ ,否则 $\omega_2$ 。

二、正态密度

（1）单变量密度函数：连续的单变量正态密度函数为：

$p_(x)=\frac{1}{\sqrt{2\pi}\sigma}exp[-\frac{1}{2}(\frac{x-\mu}{\sigma})^2]$

由此可以得到x的期望值（均值，由真个特征空间计算得到）为

$\mu\equiv \varepsilon [x]=\int_{-\infty}^{+\infty}xp(x)dx$

得到x的方差为

$\sigma^2\equiv\varepsilon [(x-\mu)^2]=\int_{-\infty}^{+\infty}(x-\mu)^2p(x)dx$

下面以均值为0，方差为1的高斯分布为例，画出高斯分布图

x=[-4:0.1:4]
z = 1/sqrt(2*pi) * exp(-(x.^2)/2) ;
plot(z)

下面求概率密度函数在[-2,2]上的积分

syms x；
p=int(1/sqrt(2*pi)*exp(-(x.^2)/2),-2,2);

显然，高斯分布图的峰值为 $p(u)=p(0)=\frac{1}{\sqrt2\pi\sigma}=0.3989$ ，概率密度函数在区间 $|x-\mu|\leq 2\sigma$ 内的积分值为0.9545.

（2）多变量密度函数：连续的多变量正态密度函数为：

$p(x)=\frac{1}{(2\pi)^{d/2}|\Sigma|^\frac{1}{2}}exp[-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)]$

这里，x是一个d维列向量， $\mu$ 是一个d维均值向量， $\Sigma$ 是一个 $d\times d$ 的协方差矩阵， $\left | \Sigma \right |$ 和 $\Sigma^{-1}$ 分别是其行列式和逆。变量x的期望值为

$\mu\equiv\varepsilon [x]=\int xp(x)dx$

得到x的方差为

$\Sigma\equiv\varepsilon [(x-\mu)(x-\mu)^T]=\int_{-\infty}^{+\infty}(x-\mu)(x-\mu)^Tp(x)dx$

三、正态分布的判别函数

为了求解最小误差分类，我们将判别函数设定为

$g_i(x)=ln\;p(x|\omega_i)+ln\;P(\omega_i)$

$g_i(x)=-\frac{1}{2}(x-\mu_i)^T\Sigma_i^{-1}(x-\mu_i)-\frac{d}{2}\;ln\;(2\pi)-\frac{1}{2}\;ln\;|\Sigma_i|+ln\;P(\omega_i)$

对于二分类问题，通过令 $g_i(x)=g_j(x)$ 可以确定超平面的位置。

四、例子

已知存在两类的样本，黑色点的坐标为(2,6)(3,4)(3,8)(4,6),红色点的坐标为(1,-2)(3,0)(3,-4)(5,-2)要确定判别分界。

首先，根据以下两式

$\mu\equiv\varepsilon [x]=\int xp(x)dx$

$\Sigma\equiv\varepsilon [(x-\mu)(x-\mu)^T]=\int_{-\infty}^{+\infty}(x-\mu)(x-\mu)^Tp(x)dx$

可以得到 $\omega_1$ 和 $\omega_2$ 的均值，方差

$\mu_1=\begin{bmatrix} 3\\ 6 \end{bmatrix}$

$\mu_2=\begin{bmatrix} 3\\ -2 \end{bmatrix}$

$\Sigma_1=\frac{1}{4}(\begin{bmatrix} -1\\0 \end{bmatrix}\begin{bmatrix} -1 &0 \end{bmatrix} +\begin{bmatrix} 1\\0 \end{bmatrix}\begin{bmatrix} 1 &0 \end{bmatrix} +\begin{bmatrix} 0\\2 \end{bmatrix}\begin{bmatrix} 0 &2 \end{bmatrix} +\begin{bmatrix} 0\\-2 \end{bmatrix}\begin{bmatrix} 0 &-2 \end{bmatrix}) =\begin{bmatrix} \frac{1}{2} &0 \\ 0&2 \end{bmatrix}$

$\Sigma_2=\frac{1}{4}(\begin{bmatrix} -2\\0 \end{bmatrix}\begin{bmatrix} -2 &0 \end{bmatrix} +\begin{bmatrix} 0\\2 \end{bmatrix}\begin{bmatrix} 0 &2 \end{bmatrix} +\begin{bmatrix} 0\\-2 \end{bmatrix}\begin{bmatrix} 0 &-2 \end{bmatrix} +\begin{bmatrix} 2\\0 \end{bmatrix}\begin{bmatrix} 2 &0 \end{bmatrix}) =\begin{bmatrix} 2 &0 \\ 0&2 \end{bmatrix}$

$\Sigma_1^{-1}=\begin{bmatrix} 2 &0 \\ 0 &\frac{1}{2} \end{bmatrix}$

$\Sigma_2^{-1}=\begin{bmatrix} \frac{1}{2} &0 \\ 0 &\frac{1}{2} \end{bmatrix}$

假设先验概率 $P(\omega_1)=P(\omega_2)=0.5$ ,根据

$g_i(x)=-\frac{1}{2}(x-\mu_i)^T\Sigma_i^{-1}(x-\mu_i)-\frac{d}{2}\;ln\;(2\pi)-\frac{1}{2}\;ln\;|\Sigma_i|+ln\;P(\omega_i)$

得到

$g_1(x)-g_2(x)\newline=x^T(\begin{bmatrix} -1 & 0\\ 0&-\frac{1}{4} \end{bmatrix} -\begin{bmatrix} -\frac{1}{4} & 0\\ 0&-\frac{1}{4} \end{bmatrix}) x+(\begin{bmatrix} 6 &3 \end{bmatrix} -\begin{bmatrix} \frac{3}{2} &-1 \end{bmatrix}) x+(\omega_{10}-\omega_{20}) \newline =x^T\begin{bmatrix} -\frac{3}{4} &0 \\ 0 &0 \end{bmatrix}x+\begin{bmatrix} 4.5 &4 \end{bmatrix} x+[(-18-0.5ln(1)]-[-3.25-0.5ln(4))] \newline =\begin{bmatrix} x_1\\x_2 \end{bmatrix}^T\begin{bmatrix} -\frac{3}{4} &0 \\ 0 &0 \end{bmatrix}\begin{bmatrix} x_1\\x_2 \end{bmatrix}+\begin{bmatrix} 4.5 &4 \end{bmatrix} \begin{bmatrix} x_1 &x_2 \end{bmatrix}-14.057\newline =0$