线性代数（2）

---

线性相关性

给定一组向量${\vec{x}}_1,{\vec{x}}_2,{\vec{x}}_3,...,{\vec{x}}_n$，如果存在不全为0的数$c_1,c_2,c_3,...,c_n$，使得$$c_1{\vec{x}}_1+c_2{\vec{x}}_2+...+c_n{\vec{x}}_n=0$$则称这组向量线性相关，否则称其线性无关

设${\vec{v}}_1,...{\vec{v}}_n$是矩阵$A$的列向量（组成列空间$C(A)$）
当$A$的零空间$N(A)$仅包含零向量时，这些列向量线性无关，矩阵A的秩$r(A)=n$，$C(A)$的维数是$n$
                                                  否则，这些列向量线性相关，矩阵A的秩$r(A)<n$，$C(A)$的维数$<n$
(秩是矩阵才有的概念，对应向量组的维数)

(回忆秩的定义：矩阵$A$的主列数目)

基

给定一组向量${\vec{v}}_1,{\vec{v}}_2,...{\vec{v}}_d$，如果满足
1）线性无关
2）可以生成(通过线性组合)一个向量空间$p$
则称这组向量是空间$p$的一组基

1）一个空间的基有无数组
2）一个空间的所有基向量个数相等，称为这个空间的维数（如定义里空间$p$的维数是$d$）

---

四个基本子空间

给定一个矩阵$A_{m\times n}$，可以构造如下4种基本子空间

名称	符号	维数	基
列空间	$C(A)$	$r$	消元后得到的$r$个主列
零空间	$N(A)$	$n-r$	消元后得到的$n-r$个自由列
行空间	$C(A^T)$	$r$	最简型$R$的前$r$行
左零空间	$N(A^T)$	$m-r$	左乘$E$矩阵的后$m-r$行

• 矩阵列空间的维数 = 行空间的维数=矩阵的秩
• 列空间的秩与零空间的秩参考线性代数（1）的“零空间”

行空间

初等行变换化简
$$\begin{gathered} A=\left[\begin{array}{cccc}1& 2& 3& 1\\ 1& 1& 2& 1\\ 1& 2& 3& 1\end{array}\right]\Rightarrow \left[\begin{array}{cccc}1& 2& 3& 1\\ 0& -1& -1& 0\\ 0& 0& 0& 0\end{array}\right] \\ \Rightarrow \left[\begin{array}{cccc}1& 0& 1& 1\\ 0& 1& 1& 0\\ 0& 0& 0& 0\end{array}\right]\text{\hspace{1em}(1)} \end{gathered}$$
式(1)第一行最右的矩阵是常见的阶梯型，根据该矩阵就可以获知主列和自由列的情况
        第二行的矩阵是最简型$R$

因为$R$是由$A$行向量通过线性变换得到的，因此并没有改变行空间$C(A^T)$，非0行就是行空间的基，非0行的数量就是行空间的维数（同时也是列空间的维数）

左零空间

先解释“左零”的由来：
$N(A^T)$表示的是$A^{T}X=0$的解空间，而
$$A^{T}X=0\Rightarrow (A^{T}X{)}^T=0\Rightarrow X^{T}A=0\text{\hspace{1em}(2)}$$
左零空间的基可以通过先转置$A$然后求其自由列获得，也可以由以下方式获得：
以(1)式的$A$为例
1）初等行变换$[A_{m\times n}|I_{m\times m}]$，左侧消元为最简型$R\Rightarrow [R_{m\times n}|E_{m\times m}]$
$$\left[\begin{array}{lccrlcr}1& 2& 3& 1& 1& 0& 0\\ 1& 1& 2& 1& 0& 1& 0\\ 1& 2& 3& 1& 0& 0& 1\end{array}\right]\Rightarrow \left[\begin{array}{lccrccr}1& 0& 1& 1& -1& 2& 0\\ 0& 1& 1& 0& 1& -1& 0\\ 0& 0& 0& 0& -1& 0& 1\end{array}\right]\text{\hspace{1em}(3)}$$
可以验证，$EA=R$

2）取$E$的后$m-r$行即为基
对比$EA=R$与式(2)，可以发现$E$的最后$m-r$行可以使得$A$的左乘为0
在式(3)的例子中就是最后$3-2=1$行$[-101]$为$N(A^T)$的基

---

矩阵空间

向量空间表示的是一个对向量加法和数乘封闭的向量集合，实际上空间这个概念可以扩展：
由于矩阵也支持加法和数乘计算，因此

对矩阵加法和数乘封闭的矩阵集合组成矩阵空间

记$M$为$3\times 3$的矩阵空间，显然对应的基有9个，可以为：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],...,\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]\text{\hspace{1em}(4)}$$

记$S$为$3\times 3$的对称矩阵组成的矩阵空间，显然$S$是$M$的子空间，对应的基有6个，可以为：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right],\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 1& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right]\text{\hspace{1em}(5)}$$
记$U$为$3\times 3$的上三角矩阵组成的矩阵空间，$U$是$M$的子空间，对应的基有6个，可以为：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right],\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]\text{\hspace{1em}(6)}$$
记$D$为$3\times 3$的对角矩阵组成的矩阵空间，$D$是$M$的子空间，同时也是$S$和$U$的交集，对应的基有3个，可以为：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]\text{\hspace{1em}(7)}$$

---

秩1矩阵

任何一个秩为1的矩阵都可以分解为列向量与行向量的乘积，即$A=U{V}^T$

令$A=\left[\begin{array}{ccc}1& 4& 5\\ 2& 8& 10\end{array}\right]$，有
$$A=\left[\begin{array}{ccc}1& 4& 5\\ 2& 8& 10\end{array}\right]=\left[\begin{array}{c}1\\ 2\end{array}\right]\left[\begin{array}{ccc}1& 4& 5\end{array}\right]\text{\hspace{1em}(8)}$$

---

正交向量

两条向量正交的充要条件是 $X^{T}Y=0$

设$X$和$Y$分别是直角三角形的两条直角边，显然有
$$\begin{gathered} ||X|{|}^2+||Y|{|}^2=||X+Y|{|}^2 \\ \Rightarrow X^{T}X+Y^{T}Y=X^{T}X+Y^{T}Y+2X^{T}Y \\ \Rightarrow X^{T}Y=0\text{\hspace{1em}(9)} \end{gathered}$$

如果两个子空间$A$与$B$正交，那么$A$中的任意向量与$B$的任意向量正交

由此可得：行空间$C(A^T)$正交于零空间$N(A)$

---