支持向量机(SVM)和决策树(Decision Tree)简介

一、支持向量机(SVM)

  主要思想：找一个超平面，使其尽可能多地将两类数据点分开，还要使得分开的数据点距分类面尽可能地远.

1. 线性可分的支持向量机

  设有一组观测样本： D = { ( x i , y i ) ∣   i = 1 , 2 , ⋯   , n , x i ∈ X ⊆ R m , y i ∈ { 1 , − 1 } } \small D=\lbrace (x_i,y_i)|\,i=1,2,\cdots,n,x_i\in X\subseteq R^m,y_i\in \lbrace1,-1\rbrace \rbrace D={(xi​,yi​)∣i=1,2,⋯,n,xi​∈X⊆Rm,yi​∈{1,−1}}. 根据标签 $y_i$ 将其分为两类：$D_1=\{(x_i,y_i)|y_i=1\},D_2=\{(x_i,y_i)|y_i=-1\}.$
  已知 $D_1,D_2$ 线性可分，即存在一个超平面能够将两类点完全分隔开. 然后寻找这样的一个超平面 $w^{T}x+b=0$ (其中 $w$ 表示超平面的法向量)，不仅能够满足分隔条件，而且能够使分开的数据点距超平面尽可能地远. 该问题可以表示为优化问题，数学描述如下：$$\begin{array}{rl}& max\rho \\ & s.t.\{\begin{array}{ll}{w}^T{x}_i+b\ge l,& x_i\in D_1\\ w^T{x}_i+b\le -l,& x_i\in D_2\end{array}\end{array}$$其中 $w^T{x}_i+b=l,w^T{x}_i+b=-l(l>0)$ 分别经过 $D_1,D_2$ 的边界点，$\rho$ 表示两个超平面之间的距离，可以由 $l,w$ 表示，推导过程如下：

  设 $x_1,x_2$ 分别为 $D_1,D_2$ 的边界点，则由 $w^T{x}_i+b=l,w^T{x}_i+b=-l$ 分别经过 $D_1,D_2$ 的边界点可知，$w^T{x}_1+b=l,w^T{x}_2+b=-l$，于是两个超平面之间的距离可以表示为 $$\rho =\frac{|(x_1-x_2)\cdot w|}{||w||}$$$(x_1-x_2)\cdot w=w^T{x}_1-w^T{x}_2=l-b-(-l-b)=2l$，则 $\rho =2l/||w||,l=\rho ||w||/2.$
  约束条件$$\{\begin{array}{ll}{w}^T{x}_i+b\ge l,& x_i\in D_1\\ w^T{x}_i+b\le -l,& x_i\in D_2\end{array}$$可以简化为 $y_i(w^T{x}_i+b)\ge l$，两边同除 $l$，将 $l=\rho ||w||/2$ 代入上式，得$$y_i(\frac{2w^T}{\rho ||w||}{x}_i+\frac{2b}{\rho ||w||})\ge 1$$换元，令 $$w^{\prime }=\frac{2w}{\rho ||w||},b^{\prime }=\frac{2b}{\rho ||w||}$$代入原式，得 $y_i(w^{\prime T}{x}_i+b^{\prime })\ge 1$.
  同时 $||w^{\prime }||=2/\rho$ ，最优化目标 $max\rho =max2/||w^{\prime }||$ 等价于 $min||w^{\prime }|{|}^2/2$.
  原问题转化为：$$\begin{array}{rl}& min\frac{1}{2}||w^{\prime }|{|}^2\\ & s.t.y_i(w^{\prime T}{x}_i+b^{\prime })\ge 1\end{array}$$

2. 近似线性可分的支持向量机

  即找不到一个超平面将两类数据点分隔开，但去除边界上与其他类混杂的一小部分点后能够线性可分.
  对于这种情况，只需对约束条件 $y_i(w^{\prime T}{x}_i+b^{\prime })\ge 1$ 稍加调整. 具体做法：引入松弛变量 ${\xi }_i\ge 0,i=1,2,\cdots ,n$，使得 $y_i(w^{\prime T}{x}_i+b^{\prime })\ge 1-{\xi }_i$，原问题转化为：$$\begin{array}{rl}& min\frac{1}{2}||w^{\prime }|{|}^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.\{\begin{array}{ll}{y}_i(w^{\prime T}{x}_i+b^{\prime })\ge 1-{\xi }_i,& i=1,2,\cdots ,n\\ {\xi }_i\ge 0,& i=1,2,\cdots ,n\end{array}\end{array}$$其中 $C>0$，称为惩罚因子.

二、决策树(Decision Tree)

  主要思想：从一个无规则的样本集中推导出一个分类规则，其可以以树的形式表示，也称决策树，内部节点表示特征或分类指标，一个叶子节点表示一类.

  先来谈谈信息论的一些知识，伟大的祖师爷——香农给出了信息的数学描述，利用信息量衡量事件不确定性的大小，事件发生概率越小，信息量越大. 将信息量表示成自变量为概率的函数，这个函数需要满足以下三条性质：
(1) 非负性，即信息量总是大于等于零的；
(2) 随概率的增大而减小；
(3) $f(p_1{p}_2)=f(p_1)+f(p_2)$.
  易知对数函数 $f(p)=lo{g}_{a}p(0<a<1)$ ($p$ 为事件发生的概率)满足这些性质，并称其为事件的信息量，一般取 $a=1/2$.

再来看两个更高级的定义：
信息熵：信息量的期望. 假设事件 $D$ 有 $N$ 中可能的结果，每种结果的发生概率为 $P_k$，定义事件 $D$ 的信息熵为：$$Ent(D)=\sum _{k=1}^N{P}_k(-lo{g}_2{P}_k).$$得知新特征的信息后，信息熵的减少量$$g(D,A)=H(D)-H(D|A)$$ 称为信息增益，具体计算方法：
  假设样本集 $D$ 可以分为 $K$ 类， $C_i$ 表示第 $i$ 类，$i=1,2,\cdots ,K,{\sum }_{i=1}^K|C_i|=|D|$，$D$ 的信息熵为$$H(D)=\sum _{i=1}^K\frac{|C_i|}{|D|}(-lo{g}_2\frac{|C_i|}{|D|}).$$特征 $A$ 将 $D$ 划分为 $n$ 个子集 $D_i,i=1,2,\cdots ,n$，定义$$H(D|A)\triangleq \sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i),$$可以理解为子集信息熵的期望.
  好的分类特征 $A$ 应该使 $H(D|A)$ 尽可能地小，即信息增益 $g(D,A)$ 尽可能地大. 至于为啥？
  好的分类特征意味着对结果更精确的预测. 而预测得越准确，预测结果发生的概率也就越大. 大的概率意味着小的信息量，小的信息量会带来小的信息熵，进而使$H(D|A)$ 尽可能地小.
  决策树的生成过程就是，先选择信息增益最大的特征进行分类. 然后对每个小类进行相同的操作，递归下去，就可以得到一棵分类树，也称决策树.
  终止条件可以这样设置：当前节点的信息熵小于给定的阈值时，就停止递归，取占比最大的类作为当前叶子节点的类别.

  上述介绍的根据信息增益选取特征，只是决策树中的 ID3 算法，这种算法倾向于选择取值较多的特征，后续提出的 C4.5 算法，以信息增益率作为特征选择指标，在一定程度上克服了这个缺点. 其他的决策树算法还有 CART，既能做分类也能做回归，感兴趣的读者可以了解一下.

Plus: 如有错误、可以改进的地方、或任何想说的，请在评论区留言！