线性代数 - 1 - 基础知识

线性代数，基础知识，温故知新。

定义

• 向量：

向量默认为列向量：

$$\overrightarrow{\mathbf{x}}={\left(x_1,x_2,\cdots ,x_n\right)}^T=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$

• 矩阵 $\mathbf{X}\in {\mathbb{R}}^{m\times n}$，表示为：

$$\mathbf{X}=\left[\begin{array}{cccc}{x}_{1,1}& x_{1,2}& \cdots & x_{1,n}\\ x_{2,1}& x_{2,2}& \cdots & x_{2,n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{m,1}& x_{m,2}& \cdots & x_{m,n}\end{array}\right]$$

范数

向量范数

1-范数

各个元素的绝对值之和

$$\Vert X{\Vert }_1=\sum _{i=1}^n\left|x_i\right|$$

2-范数

每个元素的平方和再开平方根

$$\Vert X{\Vert }_2={\left(\sum _{i=1}^n{x}_i^2\right)}^{\frac{1}{2}}=\sqrt{\sum _{i=1}^n{x}_i^2}$$

p-范数

$$\Vert X{\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{\frac{1}{p}}$$

• 其中正整数p≥1，并且有{% raw %} ${\lim }_{p\to \infty }\Vert X{\Vert }_p={\max }_{1\le i\le n}\left|x_i\right|$.{% endraw %}

无穷范数

$$\Vert X{\Vert }_{\infty }=\underset{1<i<n}{\max }\left|x_i\right|$$

为向量中绝对值最大的元素的值。

矩阵范数

1-范数（列模）

矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大）
{% raw %}

$$\Vert A{\Vert }_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n\mid a_{ij}\mid$$

2-范数（谱模）：

最大特征值开平方根：
{% raw %}

$$\mid \mid A{\Vert }_2=\sqrt{{\lambda }_{\max }\left(A^{T}A\right)}=\sqrt{\underset{1\le i\le n}{\max }\left|{\lambda }_i\right|}$$

无穷范数（行模）：

矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）

$$\Vert A{\Vert }_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n\mid a_{ij}\mid$$

L0范数：

矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏

L1范数：

矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以近似表示稀疏

F范数：

矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在它是一个凸函数，可以求导求解，易于计算

$$\Vert \mathbf{A}{\Vert }_F=\sqrt{\sum _{i,j}{a}_{i,j}^2}$$

行列式

• 方阵 $A$ 的行列式，记作 $det(A)$或$|A|$：

$$D=\left|\begin{array}{llll}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|$$

• 计算公式：

$$D=\sum (-1{)}^k{a}_{1k_1}{a}_{2k_2}\cdots a_{n{k}_n}$$

• 表示的是$n$个$n$维向量构成的n维平行多面体的体积，该体积有正负，若存在线性相关的向量，行列式为0
• 行列式$A$中某行(或列)用同一数$k$乘,其结果等于$kA$
• 行列式$A$等于其转置行列式$A^T$($A^T$的第i行为$A$的第$i$列)
• 行列式$A$中两行（或列）互换,其结果等于$-A$
• 把行列式$A$的某行（或列）中各元同乘一数后加到另一行（或列）中各对应元上，结果仍然是$A$

方阵的迹

• 方阵$\mathbf{A}={\left(a_{i,j}\right)}_{n\times n}$的迹，记作$\mathrm{tr}(\mathbf{A})$，对角线元素之和，也等于特征值的和：

$$\mathrm{tr}(\mathbf{A})=\sum _i{a}_{i,i}$$

向量积

点积（Dot Product）

对应元素乘积和，结果不是一个向量，而是一个标量（Scalar）

$$\mathbf{A}\cdot \mathbf{B}=\sum _i{a}_i{b}_i=\left|A\right|\left|B\right|Cos\left(\theta \right)$$

叉乘（cross product）

三维向量的叉积：

用三阶行列式表示

$$\overrightarrow{\mathbf{u}}=u_x\overrightarrow{\mathbf{i}}+u_y\overrightarrow{\mathbf{j}}+u_z\overrightarrow{\mathbf{k}},\overrightarrow{\mathbf{v}}=v_x\overrightarrow{\mathbf{i}}+v_y\overrightarrow{\mathbf{j}}+v_z\overrightarrow{\mathbf{k}}$$

其中$\overrightarrow{\mathbf{i}},\overrightarrow{\mathbf{j}},\overrightarrow{\mathbf{k}}$分别为$x,y,z$轴的单位向量。

$$\overrightarrow{\mathbf{w}}=\overrightarrow{\mathbf{u}}\times \overrightarrow{\mathbf{v}}=\left[\begin{array}{ccc}\overrightarrow{\mathbf{i}}& \overrightarrow{\mathbf{j}}& \overrightarrow{\mathbf{k}}\\ u_x& u_y& u_z\\ v_x& v_y& v_z\end{array}\right]$$

• $\overrightarrow{\mathbf{u}},\overrightarrow{\mathbf{v}}$的叉积垂直于$\overrightarrow{\mathbf{u}},\overrightarrow{\mathbf{v}}$构成的平面，其方向符合右手规则
• 叉积的模等于$\overrightarrow{\mathbf{u}},\overrightarrow{\mathbf{v}}$构成的平行四边形的面积

向量的并矢

给定两个向量{% raw %} $\overrightarrow{\mathbf{x}}={\left(x_1,x_2,\cdots ,x_n\right)}^T,\overrightarrow{\mathbf{y}}={\left(y_1,y_2,\cdots ,y_m\right)}^T$ {% endraw %}，则向量的并矢记作：

$$\overrightarrow{\mathbf{x}}\overrightarrow{\mathbf{y}}=\left[\begin{array}{cccc}{x}_1{y}_1& x_1{y}_2& \cdots & x_1{y}_m\\ x_2{y}_1& x_2{y}_2& \cdots & x_2{y}_m\\ ⋮& ⋮& \ddots & ⋮\\ x_n{y}_1& x_n{y}_2& \cdots & x_n{y}_m\end{array}\right]$$

也记作{% raw %}$\overrightarrow{\mathbf{x}}\otimes \overrightarrow{\mathbf{y}}${% endraw %}或者{% raw %}$\overrightarrow{\mathbf{x}}{\overrightarrow{\mathbf{y}}}^T${% endraw %}。

矩阵运算

给定两个矩阵{% raw %}$\mathbf{A}=\left(a_{i,j}\right)\in {\mathbb{R}}^{m\times n},\mathbf{B}=\left(b_{i,j}\right)\in {\mathbb{R}}^{m\times n}$ {% endraw %}，定义：

阿达马积(Hadamard product)（又称作逐元素积）

$$\mathbf{A}\circ \mathbf{B}=\left[\begin{array}{cccc}{a}_{1,1}{b}_{1,1}& a_{1,2}{b}_{1,2}& \cdots & a_{1,n}{b}_{1,n}\\ a_{2,1}{b}_{2,1}& a_{2,2}{b}_{2,2}& \cdots & a_{2,n}{b}_{2,n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m,1}{b}_{m,1}& a_{m,2}{b}_{m,2}& \cdots & a_{m,n}{b}_{m,n}\end{array}\right]$$

克罗内积(Kronnecker product)

$$\mathbf{A}\otimes \mathbf{B}=\left[\begin{array}{cccc}{a}_{1,1}\mathbf{B}& a_{1,2}\mathbf{B}& \cdots & a_{1,n}\mathbf{B}\\ a_{2,1}\mathbf{B}& a_{2,2}\mathbf{B}& \cdots & a_{2,n}\mathbf{B}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m,1}\mathbf{B}& a_{m,2}\mathbf{B}& \cdots & a_{m,n}\mathbf{B}\end{array}\right]$$

偏导数

• 标量对标量的偏导数：$\frac{\partial u}{\partial v}$ 。
• 标量对向量（ $n$ 维向量）的偏导数 ： $\frac{\partial u}{\partial \overrightarrow{\mathbf{v}}}={\left(\frac{\partial u}{\partial v_1},\frac{\partial u}{\partial v_2},\cdots ,\frac{\partial u}{\partial v_n}\right)}^T$。
• 标量对矩阵( $m\times n$阶矩阵)的偏导数：

$$\frac{\partial u}{\partial \mathbf{V}}=\left[\begin{array}{cccc}\frac{\partial u}{\partial V_{1,1}}& \frac{\partial u}{\partial V_{1,2}}& \cdots & \frac{\partial u}{\partial V_{1,n}}\\ \frac{\partial u}{\partial V_{2,1}}& \frac{\partial u}{\partial V_{2,2}}& \cdots & \frac{\partial u}{\partial V_{2,n}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial u}{\partial V_{m,1}}& \frac{\partial u}{\partial V_{m,2}}& \cdots & \frac{\partial u}{\partial V_{m,n}}\end{array}\right]$$

• 向量（ $m$维向量）对标量的偏导数：$\frac{\partial \overrightarrow{\mathbf{u}}}{\partial v}={\left(\frac{\partial u_1}{\partial v},\frac{\partial u_2}{\partial v},\cdots ,\frac{\partial u_m}{\partial v}\right)}^T$ 。
• 向量（ $m$维向量）对向量 ( $n$维向量) 的偏导数（雅可比矩阵，行优先）如果为列优先，则为矩阵的转置。

$$\frac{\partial \overrightarrow{\mathbf{u}}}{\partial \overrightarrow{\mathbf{v}}}=\left[\begin{array}{cccc}\frac{\partial u_1}{\partial v_1}& \frac{\partial u_1}{\partial v_2}& \cdots & \frac{\partial u_1}{\partial v_n}\\ \frac{\partial u_2}{\partial v_1}& \frac{\partial u_2}{\partial v_2}& \cdots & \frac{\partial u_2}{\partial v_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial u_m}{\partial v_1}& \frac{\partial u_m}{\partial v_2}& \cdots & \frac{\partial u_m}{\partial v_n}\end{array}\right]$$

• 矩阵( $m\times n$阶矩阵)对标量的偏导数

$$\frac{\partial \mathbf{U}}{\partial v}=\left[\begin{array}{cccc}\frac{\partial U_{1,1}}{\partial v}& \frac{\partial U_{1,2}}{\partial v}& \cdots & \frac{\partial U_{1,n}}{\partial v}\\ \frac{\partial U_{2,1}}{\partial v}& \frac{\partial U_{2,2}}{\partial v}& \cdots & \frac{\partial U_{2,n}}{\partial v}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial U_{m,1}}{\partial v}& \frac{\partial U_{m,2}}{\partial v}& \cdots & \frac{\partial U_{m,n}}{\partial v}\end{array}\right]$$

参考资料

• http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/1_algebra.html

• https://blog.csdn.net/zaishuiyifangxym/article/details/81673491