Jacobian矩阵和Hessian矩阵

1.Jacobian

在向量分析中，雅可比矩阵是一阶偏导数以一定方式排列形成的矩阵，其行列式称为雅可比行列式，还有，在代数几何中，代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群，曲线可以嵌入其中。

雅可比矩阵
雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近，因此，雅可比矩阵类似于多元函数的导数。

假设$F:R_n\rightarrow R_m$是一个从欧式n维空间转换到欧式m维空间的函数，这个函数有m个实函数组成：y1（x1,…,xn),…,ym(x1,…xn).这些函数的偏导数（如果存在）可以组成一个m行n列的矩阵，这就是所谓的雅可比矩阵：

$$\begin{vmatrix} \frac{\alpha y_1}{\alpha x_1} & \cdots & \frac{\alpha y_1}{\alpha x_n} \\ \vdots & \ddots & \vdots \\ \frac{\alpha y_m}{\alpha x_1} & \cdots & \frac{\alpha y_m}{\alpha x_n} \\ \end{vmatrix}$$
此矩阵表示为： $J_F(x_1,...,x_n)$。
这个矩阵的第i行是由梯度函数的转置 $y_i(i=1,...,m)$表示的。

如果P是$R_n$的一点，F在p点可微，那么在这一点的导数由$J_F(p)$给出(这是求该点导数最简便的方法)。在此情况下，由$F(p)$描述的线性算子即接近点p的F的最优线性逼近，x逼近于p：

$$F(x) \approx F(p)+J_F(p) \cdot (x-p)$$

雅可比行列式

如果m=n，那么F是从n为空间到n为空间的函数，且他的雅可比矩阵是一个方块矩阵，于是我们可以取它的行列式，称为雅可比行列式。

在某个给定点的雅可比行列式提供了在接近该点时的表现的重要信息。例如，如果连续可微函数F在p点的雅可比行列式不为0，那么它在该点附近具有反函数。这称为反函数定理。更进一步，如果p点的雅可比行列式是正数，则F在p点的取向不变；如果为负数，则F的取向相反。而从雅可比行列式的绝对值，就可以知道函数F在p点的缩放因子；这就是为什么它出现在换元积分法中。

2.海森Hessian矩阵

在数学中，海森矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：

$$f(x_1,x_2,...,x_n$$
如果f的所有二阶导数都存在，那么f的海森矩阵即：
$$H(f)_{ij}(x) = D_iD_jf(x)$$
其中{x=(x_1,x_2,…,x_n)}，即H(f)为：
$$\begin{vmatrix} \frac{\alpha^2 f}{\alpha x_1^2} & \frac{\alpha^2 f}{\alpha x_1 \alpha x_2}&\cdots & \frac{\alpha^2 f}{\alpha x_1 \alpha x_n} \\ \frac{\alpha^2 f}{\alpha x_2 \alpha x_1} & \frac{\alpha^2 f}{\alpha x_2^2}&\cdots & \frac{\alpha^2 f}{\alpha x_2 \alpha x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\alpha^2 f}{\alpha x_n \alpha x_1} & \frac{\alpha^2 f}{\alpha x_n \alpha x_2}&\cdots & \frac{\alpha^2 f}{\alpha x_n^2} \\ \end{vmatrix}$$

最优化问题

在最优化的问题中，非线性问题，牛顿提供了一种求解方法。假设任务一个目标函数f，求函数f的极大极小问题，可以转化为求解函数f的导数$f' = 0$,剩下的问题就是牛顿法。

这次为了求解$f'=0的根$，把法f(x)的泰勒展开，展开到2阶形式：

$$f(x+\Delta x) = f(x) + f'(x) \Delta x + \frac{1}{2}f''(x) \Delta x^2$$
这个等式成立，当且仅当 $\Delta$x无限趋近于0时， $f(x+\Delta x) = f(x)$，约去这两项，并对余项式 $f'(x) \Delta x + \frac{1}{2}f''(x) \Delta x^2 = 0 对\Delta x 求导得：$
$$f'(x)+f''(x) \Delta x = 0$$
求解：
$$\Delta x = -\frac{f'(x_n)}{f''(x_n)}$$
得出迭代公式：
$$x_{n+1} = x_n- \frac{f'(x_n)}{f''(x_n)},n=0,1,...$$

$$x_{n+1}=x_n-[Hf(x_n)]^{-1}\Delta f(x_n),n\ge0$$

连接:http://jacoxu.com/?p=146