线性代数（1）

---

方程组的“行图像”与“列图像”

对一个二元二次方程组
$$\begin{gathered} 2x-y=0 \\ -x+2y=3\text{\hspace{1em}(1)} \end{gathered}$$
可以记为$AX=b$的行图像形式
$$\left[\begin{array}{cc}2& -1\\ -1& 2\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}0\\ 3\end{array}\right]\text{\hspace{1em}(2)}$$
在图像上这种方式表示两条直线，其交点就是方程的解

同时方程组(1)也可记为列图像形式
$$x\left[\begin{array}{c}2\\ -1\end{array}\right]+y\left[\begin{array}{c}-1\\ 2\end{array}\right]=\left[\begin{array}{c}0\\ 3\end{array}\right]\text{\hspace{1em}(3)}$$
在图像上这种方式表示两条向量$[2-1{]}^T$和$[-12{]}^T$的某种线性组合得到$[03{]}^T$

可以看到，“列图像”的描述方式更直观，但$AX=b$的形式更方便求解。

---

逆矩阵

什么情况下$AX=b$有解呢？从“列图像”上看就是涉及到的向量不共线，相应的$A$可逆（非奇异）

设A是n阶方阵，如果存在n阶方阵B，使得$AB=BA=I$，那么称A可逆，B是其逆矩阵

如果能找到一个非0向量$X$，使得$AX=0$成立，那么A不可逆

1）高斯-约旦消元法求逆
     假设$A=\left[\begin{array}{cc}1& 3\\ 2& 7\end{array}\right]$
     首先将$A$与$I$合为增广矩阵$\hat{A}=\left[\begin{array}{lrlr}1& 3& 1& 0\\ 2& 7& 0& 1\end{array}\right]$
     然后对$\hat{A}$做消元使得其左部分变成$I$：$\left[\begin{array}{lrlr}1& 0& 7& -3\\ 0& 1& -2& 1\end{array}\right]$
     消元（行变换）后右侧即为所求：$A^{-1}=\left[\begin{array}{cc}7& -3\\ -2& 1\end{array}\right]$

简单的证明：
对增广阵左乘某个矩阵$B$：$B[A|I]$
消元后有$BA=I$，因此$B=A^{-1}$
又因为右侧$BI=B$，因此消元后右侧即为所求逆矩阵

---

LU分解

LU分解是将一个矩阵分解为一个单位下三角矩阵和一个上三角矩阵乘积

对任意一个非奇异的方阵A，其LU分解总是存在的

LU分解主要应用在数值分析中，用来解线性方程、求逆矩阵或计算行列式

1）消元法（Doolittle算法）求LU
     首先对矩阵A通过初等行变换将其变为一个上三角矩阵U，这个过程中对应的变换矩阵就变成一个单位下三角矩阵

     对$A=\left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]$，行二加上行一的-4倍，有：
$$\begin{gathered} \left[\begin{array}{cc}1& 0\\ -4& 1\end{array}\right]\left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]=\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right] \\ \Rightarrow A={\left[\begin{array}{cc}1& 0\\ -4& 1\end{array}\right]}^{-1}\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right] \end{gathered}$$

2）直接法
     由于$$\begin{gathered} A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ l_{21}& 1\end{array}\right]\left[\begin{array}{cc}{u}_{11}& u_{12}\\ 0& u_{22}\end{array}\right] \\ =\left[\begin{array}{cc}{u}_{11}& u_{12}\\ l_{21}{u}_{11}& l_{21}{u}_{12}+u_{22}\end{array}\right]\text{\hspace{1em}(4)} \end{gathered}$$
    直接根据上式就可以求$l_{ij}$和$u_{ij}$

---

向量空间与子空间

设$R^n$是n维实向量构成的集合，如果该集合对于向量加法、数乘封闭，那么称$R^n$为向量空间

子空间是向量空间的一部分，这个集合也具有加法、数乘封闭性

显然，只包含零向量的集合也构成向量空间

零空间

零空间是$AX=0$的解的集合

显然零空间是向量空间

令$A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]$，求解其零空间$N(A)$：
STEP1: 初等行变换为上三角形式
$$A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 2& 2\\ 0& 0& 2& 4\\ 0& 0& 0& 0\end{array}\right]\text{\hspace{1em}(5)}$$

SETP2：求特解
从式(5)可以看到，$A$的主元（秩）有2个：$a_{11}=1$，$a_{23}=2$
对应的主列是$co{l}_1$、$co{l}_3$，自由列是$co{l}_2$、$co{l}_4$

对自由列对应的解指定0或1，带入(5)式，可以求得2组（与自由列数量一致）特解：$[20-21{]}^T$, $[-2100{]}^T$

STEP3：线性组合
对上述特解做线性组合就得到了$A$的零空间
$$N(A)=c_1\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]+c_2\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]\text{\hspace{1em}(6)}$$

列空间

对$A=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]$，其所有列向量$[1234{]}^T$、$[1111{]}^T$和$[2345{]}^T$张成的空间称为列空间，记为$C(A)$

1）显然，通过线性扩展的列空间是向量空间
2）上述C(A)是$R^4$的2维子空间（$[1234{]}^T+[1111{]}^T$与$[2345{]}^T$线性相关）

列空间研究的是，什么样的b使得$AX=b$有解

上述例子可以改写为
$$b=AX=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=x_1\left[\begin{array}{c}1\\ 2\\ 3\\ 4\end{array}\right]+x_2\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right]+x_3\left[\begin{array}{c}2\\ 3\\ 4\\ 5\end{array}\right]\text{\hspace{1em}(7)}$$
也就是说，如果$b$在$A$的列空间$C(A)$内，$AX=b$有解

仍以零空间中的矩阵$A$为例，求$AX=b$的所有解集合
STEP1：增广矩阵初等行变换为上三角形式
$$[A|b]=\left[\begin{array}{lcccc}1& 2& 2& 2& b_1\\ 2& 4& 6& 8& b_2\\ 3& 6& 8& 10& b_3\end{array}\right]\Rightarrow \left[\begin{array}{lcccc}1& 2& 2& 2& b_1\\ 0& 0& 2& 4& b_2-2b_1\\ 0& 0& 0& 0& b_3-b_2-b_1\end{array}\right]\text{\hspace{1em}(8)}$$
注意上式中$b_i$为行向量

STEP2：令所有自由列对应的解元素为0，求特解
易得$X_p=\left[\begin{array}{c}{b}_2-b_3\\ 0\\ \frac{b_3-b_2-b_1}{2}\\ 0\end{array}\right]$

STEP3：求A的零空间$N(A)$（使得$AX=0$成立的所有解空间）
如上述零空间内步骤，得$N(A)=c_1\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]+c_2\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]$

STEP4：求所有解集合
将特解$X_p$与零空间$N(A)$相加即得：
$$X=\left[\begin{array}{c}{b}_2-b_3\\ 0\\ \frac{b_3-b_2-b_1}{2}\\ 0\end{array}\right]+c_1\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]+c_2\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]\text{\hspace{1em}(9)}$$
需要注意的是$AX=b$的所有解集合不一定是一个向量空间了（不一定过0点）

---

秩

如零空间内所述，秩$rank(A)$指A的主元个数

对尺寸$m\times n$的矩阵A，秩$r\le m$ && $r\le n$

1）$r=m=n$
此时称A为满秩
        A是方阵，并且可逆（非奇异）
        $AX=0$仅包含0向量（自由列数量为0）
        $AX=b$有且只有1个解

2）$r=n<m$
此时称A为列满秩
        $AX=0$仅包含0向量（自由列数量为0）
        $AX=b$有可能存在1个解，也可能无解（方程数多于未知数）

3）$r=m<n$
此时称A为行满秩
        $AX=0$的特解个数为$n-r$
        $AX=b$有无穷多解（方程数少于未知数）

4）$r<m$&&$r<n$
此时$AX=b$有可能存在无穷多解，也可能无解
这里无解的情况是$A\Rightarrow \left[\begin{array}{cc}I& F\\ 0& 0\end{array}\right]$，而对应的$b\Rightarrow \left[\begin{array}{c}{b}_{up}\\ b_{down}\end{array}\right]$中$b_{down}\ne 0$
否则就特化为情况3，拥有无穷多解