逻辑回归 机器学习基础(2)

1 分类与表达式

1.1 分类

例子：

Email：垃圾（span）邮件/非垃圾（not span）邮件
在线交易：是/否欺诈（Fraudulent）
肿瘤：恶性/良性

$$y \in \left\{ {0,1} \right\}:\left\{ {{\rm{Negative}},{\rm{Position}}} \right\}$$ $$\to y \in \left\{ {0,1,2,3, \cdots } \right\}: 多类$$

逻辑回归

$0 \le {h_\theta }\left( x \right) \le 1$
离散变量：$\{0,1\}$

1.2 假设函数的表达式

$$\left. \begin{array}{ccccc} {h_\theta }\left( x \right) = g\left( {{\theta ^T}x} \right)\\ g\left( z \right) = \frac{1}{{1 + {e^{ - z}}}} \end{array} \right\} \Rightarrow {h_\theta }\left( x \right) = \frac{1}{{1 + {e^{ - {\theta ^T}x}}}}$$
$h_θ(x)$ 为 $y = 1$ 的概率值，当取输入为 $x$ 时，

$\to {h_\theta }\left( x \right) = p\left\{ {y = 1|x;\theta } \right\}$
${s}{.t}{.}~~ p\left\{ {y = 0|x;\theta } \right\} + p\left\{ {y = 1|x;\theta } \right\} = 1$

1.3 决策边界

${h_\theta }\left( x \right) = g\left( {{\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2}} \right)$

假定 $y = 1$，当 $h_θ(x) ≥ 0.5$（阈值）

则 $g(θ^Tx) ≥ 0.5$（阈值），即 $θ^Tx ≥ 0$，$θ_0 + θ_1x_1 + θ_2x_2 ≥ 0$

1.4 非线性决策边界

$$\begin{array}{ccccc} {h_\theta }\left( x \right) = g\left( {{\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2} + {\theta _3}x_1^2 + {\theta _4}x_2^2} \right)\\ \left. \begin{array}{ccccc} {\theta _0} = & - 1\\ {\theta _1} = & {\theta _2} = 0\\ {\theta _3} = & {\theta _4} = 1 \end{array} \right\} \Rightarrow - 1 + x_1^2 + x_2^2 = 0 \end{array}$$
训练集 $\to$（拟合） $\to$ 边界

2 逻辑回归模型

2.1 代价函数

$J\left( \theta \right) = \frac{1}{m}\sum\limits_{i = 1}^m {Cost\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right),{y^{\left( i \right)}}} \right)}$
其中，

$$Cost\left( {{h_\theta }\left( x \right),y} \right) = \left\{ \begin{array}{ccccc} - \log \left( {{h_\theta }\left( x \right)} \right), & y = 1\\ - \log \left( {1 - {h_\theta }\left( x \right)} \right), & y = 0 \end{array} \right.$$
其中 $J(θ)$ 为 凸函数。

2.2 简单的代价函数与梯度下降法

$Cost\left( {{h_\theta }\left( x \right),y} \right) = - y\log \left( {{h_\theta }\left( x \right)} \right) - \left( {1 - y} \right)\log \left( {1 - {h_\theta }\left( x \right)} \right)$
$\to J\left( \theta \right) = - \frac{1}{m}\left[ {\sum\limits_{i = 1}^m {{y^{\left( i \right)}}\log \left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right)} \right) + \left( {1 - {y^{\left( i \right)}}} \right)\log \left( {1 - {h_\theta }\left( {{x^{\left( i \right)}}} \right)} \right)} } \right]$

$Objection. \to \mathop {\min }\limits_\theta J\left( \theta \right)$

梯度下降法

$${\rm{Repeat}}\left\{ {{\theta _j} = {\theta _j} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)x_j^{\left( i \right)}} } \right\}$$
这一迭代形式与“ 线性回归”中的梯度下降法相同，但是“ $h(x^{(i)})$”是不同的。其中， 特征缩放（归一化）一样适用。

2.3 高级优化方法

用于求解 $\min ~~ J(θ)$，收敛速度更快。

优化算法

1. 梯度下降法（Gradient descent）
2. 共轭梯度法（Conjugate gradient）
3. 变尺度法（BFGS）
4. 线性变尺度法（L-BFGS）

其中 2，3，4 优化算法无需学习参数 $α$，且效率比梯度下降法更好。

3 多类别分类

方法： 一对多算法（One-vs-all）
例子：
Email foldering/tagging: work $(y=1)$, friends $(y=2)$, family $(y=3)$, hobby $(y=4)$

$\mathop {\max }\limits_i h_\theta ^{\left( i \right)}\left( x \right)$

当 $y = {1, 2, 3,…, n}$，令 $y = i$ 为 $1$，其他为 $0$，采用逻辑回归方法，做 $n$ 次分类。

4 解决过拟合问题

4.1 过拟合

$\begin{array}{ccccc} J\left( \theta \right) & \approx 0\ \to 0 \end{array}$

解决方法

诊断，调试

1. 减少特征数量（舍弃特征）
2. 正则化（保留所有特征）

4.2 代价函数

${h_\theta }\left( x \right) = {\theta _0} + {\theta _1}{x^1} + {\theta _2}{x^2} + {\theta _3}{x^3} + {\theta _4}{x^4}$

希望 $θ_3$, $θ_4$ 尽量小，则

$$\mathop {\min }\limits_\theta \frac{1}{{2m}}\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)}^2}} \underbrace { + 1000{\theta _3} + 1000{\theta _4}}_{惩罚项(实例)}$$

正则化

对某些参数增加惩罚项，其中针对所有参数的为

$J\left( \theta \right) = \frac{1}{{2m}}\left[ {\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)}^2}} + \lambda \sum\limits_{j = 1}^n {\theta _j^2} } \right]$

其中，$λ$ 为正则化参数，$λ$ 过大，会使得 $θ_j \to 0$，以至于欠拟合。

4.3 正则化的线性回归

$J\left( \theta \right) = \frac{1}{{2m}}\left[ {\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)}^2}} + \lambda \sum\limits_{j = 1}^n {\theta _j^2} } \right]$

$\mathop {\min }\limits_\theta J\left( \theta \right)$

梯度下降法

$$\begin{array}{ccccc} {\theta _0} = {\theta _0} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)x_0^{\left( i \right)}} \\ {\theta _j} = {\theta _j} - \alpha \left[ {\frac{1}{m}\sum\limits_{i = 1}^m {\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)x_j^{\left( i \right)}} + \frac{\lambda }{m}{\theta _j}} \right]\\ j = 1,2,3, \cdots ,n \end{array}$$

正规方程

$$\theta = {\left( {{X^T}X} \right)^{ - 1}}{X^T}y \to \theta = {\left( {{X^T}X - \lambda {{\left[ {\begin{array}{*{20}{c}} 0&{}&{}&{}\\ {}&1&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&1 \end{array}} \right]}_{\left( {n + 1} \right)}}} \right)^{ - 1}}{X^T}y$$

当 $(X^TX)^{-1}$ 不可逆时，可将其转化为可逆矩阵。

4.4 正则化逻辑回归

$J\left( \theta \right) = \left[ { - \frac{1}{m}\sum\limits_{i = 1}^m {{y^{\left( i \right)}}\log \left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right)} \right) + \left( {1 - {y^{\left( i \right)}}} \right)\log \left( {1 - {h_\theta }\left( {{x^{\left( i \right)}}} \right)} \right)} } \right] + \frac{\lambda }{{2m}}\sum\limits_{j = 1}^n {\theta _j^2}$

$\mathop {\min }\limits_\theta J\left( \theta \right)$

采用梯度下降法等优化算法求解。