线性代数复习

本科时候学的线性代数里面的一些知识已经记不太清楚了，正好借着Ian的《深度学习》再复习一遍。

另外再深化一下学线代的意义，当时本科学着完全不知道有什么用hhh。

---

1. 标量、向量、矩阵和张量

标量（scalar）：一个标量就是一个单独的数。通常用斜体表示。

向量（vector）：一个向量是一列数。通常用粗体的小写变量名称表示。

矩阵（matrix）：矩阵是一个二维数组。通常用粗体的大写变量表示。

张量（tensor）：一般为多维数组（其实也包括了上面的几个）。通常用粗体的大写来表示（字体比矩阵的正）。

转置（transpose）：以主对角线为轴，做镜像翻转。即：

                                                         

2. 矩阵和向量相乘

矩阵乘积（matrix product）：

                                                       

其中：

                                                       

Hadamard乘积（Hadamard product），即元素对应乘积: 

                                                                         

两个维度相同的向量  和  的点积（dot product）可以看作矩阵乘积 

矩阵乘积的转置：

                                                       

表示线性方程组：

                                                       

其中  是一个已知矩阵， 是一个已知向量， 是要求解的未知向量。

3. 单位矩阵和逆矩阵

单位矩阵（identity matrix）：任何向量和单位矩阵相乘，都不会改变。结构：沿主对角线的元素都是1，而其他位置的所有元素都是0。

单位矩阵记作  ，

逆矩阵（matrix inversion）： 的逆矩阵记为  ，满足：

                                                       

可以用逆矩阵求解方程组：

                                                       

                                                       

当然逆矩阵不一定存在。可逆矩阵必须是一个方阵（square），即 ，并且所有列向量线性无关。

4. 线性相关和生成子空间

另外一个角度分析方程的解：为了分析方程的有多少个解，我们可以将A的列向量看作是从原点（origin）出发的不同方向，确定有多少中方法可以到达向量b。在这个观点下，向量 x 中的每个元素表示我们应该沿着这些方向走多远。一般而言，这种操作称为线性组合，即：

                                                      

线性组合（linear combination）：一组向量的线性组合，是指每个向量乘以对应标量系数之后的和，即：

                                                      

生成子空间：一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。

 

确定方程组  是否有解，相当于确定向量  是否在  列向量的生成子空间中。这个特殊的生成子空间被称为  的列空间（colunmn space）或者  的值域（range）。

线性相关（linear dependence）：一组列向量产生冗余的情况.

线性无关（linearly indendent）：如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为线性无关。

一个列向量线性相关的方阵被称为奇异的（singular）。

5. 范数

范数（norm）：用来衡量向量的大小。 范数定义如下：

                                                     

 范数称为欧几里得范数（Euclidean norm），经常简化表示为  ，但是  范数也有可能不受欢迎，因为其在原点附近增长得十分缓慢。在需要在原点附近判别零和非零元素的时候，经常使用  范数。 范数可以简化如下：

                                                     

有时候会用“ 范数 ”表示矩阵中的元素的个数。虽然这个术语在数学中是不对的。

另一个在机器学习中经常出现的范数是  范数，也被称为最大范数（max norm），其表示向量中具有最大幅值的元素的绝对值：

                                                       

Frobenius范数（Frobenius norm）：用来衡量矩阵的大小

                                                       

6. 特殊类型的矩阵和向量

对角矩阵（diagonal matrix）：只在主对角线上含有非零元素，其他位置都是零。

我们用  表示对角元素由向量  中元素给定的一个对角方阵。

对称（symmetric）矩阵：转置和自己相等的矩阵。即：

                                                        

单位向量（unit vector）：是具有单位范数（unit norm）的向量，即：

                                                        

如果  那么向量  和  正交（orthogonal）。如果向量不仅正交，而且范数都为1，则称其为标准正交（orthongomal）。

正交矩阵（orthogonal matrix）：指行向量和列向量是分别标准正交的方阵，即：

                                                        

这意味着：

                                                        

7. 特征分解

许多数学对象可以分解成多个组分或者找到一些属性来更好地解释。

特征分解（eigendecomposition）：将矩阵分解成一组特征向量和特征值。

方阵  的特征向量（eigenvector）是指与  相乘后相当于对该向量进行缩放的非零向量  ：

                                                         

其中标量  称为这个特征向量对应的特征值（eigenvalue）。

如果  是  的特征向量，那么任何缩放后的向量   也是  的特征向量。此外， 和  有相同的特征值。

假设矩阵  由n个线性无关的特征向量  对应着特征值  ，我们将特征向量连接成一个矩阵，使得每一列是一个特征向量： ，类似的，我们也可以将特征值连接成一个向量 。因此  的特征分解分解（eigendecomposition）可以记作：

                                                          

每个实对称矩阵都可以分解成实特征向量和实特征值：

                                                          

其中  是  的特征向量组成的正交矩阵，  是对角矩阵。

所有特征值都是正数的矩阵称为正定（positive definite），所有特征值都是非负数的矩阵成为半正定（positive semidefinite）。

同样的，所有特征值都是负数的矩阵成为负定（negative definite）；所有特征值都是非正数的矩阵称为半负定（negative semidefinite）。

8. 奇异值分解

奇异值分解（singular value decomposition, SVD）：将矩阵分解为奇异向量（singular vector）和奇异值(singular value)。

                                                           

假设  是一个  的矩阵，那么  是一个  的矩阵，  是一个的矩阵， 是一个  的矩阵。

其中   和  都定义为正交矩阵，而矩阵  定义为对角矩阵，但是  不一定是方阵。

对角矩阵  对角线上的元素称为矩阵  的奇异值（singular value）。

SVD最有用的性质可能是拓展矩阵求逆到非方矩阵上。

9. Moore-Penrose伪逆

对于非方阵而言，其逆矩阵没有定义。

Moore-Penrose伪逆使我们在这类问题上取得了一定的进展。
计算  的伪逆  :

                                                            

其中 、  、  是矩阵A奇异值分解后得到的矩阵。对角矩阵D的伪逆D+是其非零元素取倒数之后再转置得到的。

    当矩阵A的列数多于行数时，使用伪逆求解时众多可能解法中的一种。得到的  是所有方程可行解中欧几里得范数最小的一个。

    当矩阵  的行数多余列数时，可能没有解。这种情况下，通过伪逆得到的  使得  和  的欧几里得距离  最小。

10. 迹运算

迹运算返回矩阵对角元素的和：

                                                             

迹运算提供了另一种描述Frobenius范数的方式：

                                                            

迹运算在转置运算下是不变的：

                                                            

多个矩阵相乘得到的迹，和将这些矩阵中的最后一个挪到最前面之后相乘的迹是相同的：

                                                            

                                                            

11. 行列式

行列式，记作  ，是一个讲方阵映射到实数的函数。

其等于矩阵特征值的乘积。

行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。如果行列式是0，那么空间至少沿着某一维完全收缩了，如果行列式是1，那么这个转换保持空间体积不变。