深度下降法轨迹-七月算法（julyedu.com）4 月机器学习算法班学习笔记

---

课程大纲

核心思想：把问题转换为凸优化问题

一般的有约束优化问题

等式约束
不等式约束
KKT:
有约束优化问题的解的必要条件；
KKT可以用于求约束优化问题的极值点；
相对于无约束时，极值点f(x)的一阶导数为0

凸优化问题

当问题是凸优化时，问题变得更简单了
1. 局部最优价等价于全局最优解
2. KKT条件变成了充分问题

证明深度下降法的轨迹是正交的

深度下降法步骤（细化了下降步进的计算公式）

---

1 初始化: $x_0$
2 计算下降方向

$$d_k = -\bigtriangledown f\(x_k)$$
3 计算下降步长
$$\alpha_k = argmin f\( x_k+ \alpha d_k)$$
$$s.t.\ \alpha >0$$

4 更新

$$x_{k+1} = x_k+ \alpha_k d_k$$

5 判断是否收敛

---

其中第3步下降步进的计算，该公式是关于变量$\alpha$的公式。该步骤是在确定了下降方向后，求让 $f \( x_k + \alpha d_k)$最小的步长 $\alpha_k$
其中$\alpha_k$满足$f\( x_k+ \alpha_k d_k)=minf\( x_k+ \alpha d_k)$
所以当 $\alpha = \alpha_k$时
$\rightarrow \bigtriangledown f\( x_k+ \alpha d_k)=0$
$\rightarrow d_k^T \bigtriangledown f\( x_k+ \alpha d_k) = 0$
$\rightarrow d_{k}^{T} d_{k+1} = 0$
所以相近两步更新的轨迹相互正交

PS 上面最两步推导我是直接引用链式法则：张贤达 矩阵分析与应用 第一版 p260