线性模型

Linear Regression 线性回归

1. hypothesis function

又叫决策函数（decision function），这里是线性模型，$\theta$ 是参数。

$$h_\theta(x)=\sum_{i=0}^n\theta_ix_i=\theta^Tx$$

2. cost function

这里是最小二乘法，least squares function

$$J(\theta)=\frac12\sum_{i=1}^m(h_\theta(x^{(i)}-y^{(i)}))^2$$

3. gradient descent

梯度下降，要沿着最抖的（steepest）梯度方向更新参数

$$\theta_j = \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta)$$

3.1 batch gradient descent

可直接从公式2和3推导得到，称批梯度下降，ｉ是内循环

$$\theta_j = \theta_j - \alpha\sum_{i=1}^{m}(y^{(i)} - h_\theta(x^{(i)}))\ x_j^{(i)}$$

3.2 stochastic gradient descent

若是每来一个参数就更新参数，就是随机梯度下降，ｉ是外循环

$$\theta_j = \theta_j - \alpha\ (y^{(i)} - h_\theta(x^{(i)}))\ x_j^{(i)}$$

Logistic Regression

redefine hypothesis

$$h_\theta(x)=g(\theta^Tx)$$
where
$$g(z)=\frac{1}{1+e^{-z}}$$
$g(z)$是 logistic function，或者叫 sigmoid function。

Logistic Classification

$$P(y=1\ |\ x;\theta) = h_\theta(x)$$
$$P(y=0\ |\ x;\theta) = 1- h_\theta(x)$$
合并后
$$p(y\ |\ x; \theta) = (h_\theta(x))^y(1-h_\theta(x))^{1-y}$$
带入所有的样本点，并用最大似然估计，最大化似然函数

Perceptron Learning Algorithm 感知机

redefine

$$g(z) = \left\{ \begin{aligned} 1 & \quad if\ z \geq 0 \\ 0 & \quad if z < 0 \\ \end{aligned} \right.$$

---

Newton’s Methods 牛顿法与拟牛顿法

若要求函数 $f(\theta)$ 的零点，除了直接求解析解和前面讲过的梯度下降之外，也可以用牛顿法。
更新规则如下：

$$\theta := \theta - \frac{f(\theta)}{f'(\theta)}$$
这个原理从几何作图上比较好理解，然而我懒得画图。

当然，若是求函数 $l\prime(\theta)$ 的极值，相当于求其导数的零点，因此转化成了

$$\theta := \theta - \frac{l'(\theta)}{l''(\theta)}$$

在 LR 中，参数 $\theta$ 是向量值，所以我们也要把牛顿法推广到多维的设定，称牛顿－拉夫逊方法（Newton-Raphson method）

$$\theta = \theta - H^{-1}\nabla_\theta l(\theta)$$
其中 $H$ 是海森矩阵，定义为： $$H_{ij} = \frac{\partial^2l(\theta)}{\partial\theta_i\partial\theta_j}$$
后面的 $\nabla_\theta l(\theta)$ 表示 $l(\theta)$ 对 $\theta$ 的偏导。

---

由于需要去求海森矩阵的逆矩阵 $H^{-1}$ 很复杂和耗费计算量，所以可以用拟牛顿法，即用矩阵 G 近似代替 $H^{-1}$，可以用下面几种算法实现。

• DFP算法
• BFGS算法
• Broyden类算法

The Exponential Family 指数家族

Softmax Regression 多分类问题