线性代数重要知识点和理论

矩阵基本运算

1. 对于矩阵$A_{m\times n}$和$x$，$Ax$表示对$A$的各列，使用$x$各个分量进行线性组合，即
   $$\begin{array}{rl}{A}_{m\times n}x& =[a_1,a_2,...,a_n]x\\ & =[a_1,a_2,...,a_n][x_1,x_2,...x_n]\\ & =x_1{a}_1+x_2{a}_2+...+x_n{a}_n\end{array}$$
   另一个角度来看$x^T{A}_{m\times n}$则是代表以x为权重的$A$的各行的线性组合。
   可以推广到矩阵的乘法： $C_{m\times k}=A_{m\times n}{B}_{n\times k}$. 1)C的第i行，可以看做是以A的第i行为权重的B的各行的线性组合；2)C的第i列，可以看做是以B的第i列为权重的A的各行的线性组合；
   所以如果对矩阵进行列交换或者列线性组合变换，则应该右乘矩阵或者向量；如果对矩阵进行行变换或者行线性组合，则应该左乘矩阵或者向量。但是这个不是绝对的(这个理解并不准确，出现这种情况的原因仅仅是因为存在一个等价行变换来表示列变换而已)，如果矩阵A是方阵，且可逆，则对于列变换，也可以通过左乘矩阵来实现。
   例如，通过列变换，$A_{n\times n}$可以得到$B_{n\times n}$，理论上应该是$A_{n\times n}{C}_{n\times n}=B_{n\times n}$(右乘矩阵C相当于对A各列进行线性组合)，但是因为A可逆，一定存在$P_{n\times n}{A}_{n\times n}=B_{n\times n}$，因为
   $$\begin{array}{rl}{B}_{n\times n}& =B_{n\times n}{A}_{n\times n}^{-1}{A}_{n\times n}=(B_{n\times n}{A}_{n\times n}^{-1})A_{n\times n}\end{array}$$
   令$P_{n\times n}=B_{n\times n}{A}_{n\times n}^{-1}$，则$P_{n\times n}$即为所求。这个也很好理解，因为$A$可逆，所以B的各行都可以使用$A$的各行的线性组合的方式来表示。这个也可以非严格说明，如果$A$可逆，则对于$A_{n\times n}$的各行的任意一个线性组合得到的$n\times n$矩阵，都存在一个各列的线性组合，使得两者等价。反之亦然。
   $P$和$C$的关系为$P=B{A}^{-1}=AC{A}^{-1}$.

2. $A是m\times n矩阵，x是n\times 1向量$，$Ax$的几何解释：矩阵A将n维空间${\mathbb{R}}^n$的一个向量映射到m维空间${\mathbb{R}}^m$

3. $A^{T}A$是对称矩阵
   证明容易：
   证明一：
   $(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A$，$\therefore A^{T}A$是对称矩阵
   证明二：
   $A=[a_1,a_2,...a_n]$，则
   $$\begin{array}{rl}{A}^{T}A& =\left[\begin{array}{c}{a}_1^T\\ a_2^T\\ ...\\ a_n^T\end{array}\right]\left[\begin{array}{cccc}{a}_1& a_2& ...& a_n\end{array}\right]\\ & =\left[\begin{array}{cccc}{a}_1^T{a}_1& a_1^T{a}_2& ...& a_1^T{a}_n\\ a_2^T{a}_1& a_2^T{a}_2& ...a_2^T{a}_n& \\ ...& & & \\ a_n^T{a}_1& a_n^T{a}_2& ...& a_n^T{a}_n\end{array}\right]\end{array}$$
   对于矩阵$A^{T}A$第i行j列元素都是标量，标量和自己转置是相等的$(A^{T}A{)}_{ij}=a_i^T{a}_j=(a_i^T{a}_j{)}^T=a_j^T{a}_i=(A^{T}A{)}_{ji}$，所以$A^{T}A$是对称矩阵。

4. 若矩阵$A$可逆，其逆矩阵为$C$($CA=AC=I$)，则C由A唯一确定。
   证明：使用反证法。若逆矩阵不唯一，不妨设为B，则$B=BI=B(AC)=(BA)C=C$，所以BC为同一矩阵。

5. 矩阵逆的定义是$AC=CA=I$。有没有可能$AC=I,但是CA\ne I$？实际上若AC都是方阵，$AC=I$，则$CA=I$
   证明：实际上没有找到比较好的证明方式，暂略。

6. 若方阵A个各行线性相关，则各列也线性相关；反之亦然。证明方法：若各行线性相关则，$det(A)=0$, 而$det(A)=det(A^T)=0$，所以$A^T$各行线性相关，即A各列线性相关。如何通过对初等行列变换的分析来证明？

LU分解

1. LU分解的求取：$A_{m\times n}=L_{m\times m}\cdot U_{m\times n}$，其中L是下三角矩阵且对角线元素都是1，U是上三角矩阵。
   先看看做法$[AI]$可以通过行初等变换得到$[U{L}^{-1}]$
   原因是什么呢？对A做一次行初等变换，相当于对A左乘矩阵$P_i$，经过行初等变换之后，把A变换成上三角矩阵之后，做的变换相当于$[(\prod _{i=1}^n{P}_i)A(\prod _{i=1}^n{P}_{i}I]$，令$L^{-1}=(\prod _{i=1}^n{P}_i)$，则有$[L^{-1}A{L}^{-1}]$，也即$[U{L}^{-1}]$，故经过行初等变换之后，得到的上三角矩阵为$U$，此时单位阵$I$已经变换成了$L^{-1}$对其求逆可得$L$.
   $L^{-1}A=U⟹A=LU$
2. 不是所有的矩阵都有LU分解，比如$a_{11}=0$的情况，此时可以通过交换两行的方式得到LU分解，此时算是PLU分解，其中P是置换矩阵(左乘，即是对行进行变换)；LU分解不必是针对方阵；
3. PLU分解应用：1) 求解方程组$Ax=b⟹PLUx=b，令y=Ux，再求x$，这种做法比高斯消去时间复杂度要低，但是求取PLU分解需要使用高斯消去，这种做法的主要优势在于求取多个$(x,b)$时，相当于对运算做了预处理，提高了效率；2)计算行列式，根据顺序主子式求法，行列式的计算时间复杂$F(n)=nF(n-1)$，阶乘复杂度，但是通过行初等变换，得到两个三角矩阵，行列式为对角线元素乘积(仍然可以通过顺序主子式来算，只不过因为0非常多，退化成了对角线元素乘积)，时间复杂度$n!\to n^3$；3)矩阵求逆：$A=LU\to A^{-1}=U^{-1}{L}^{-1}$优于高斯消去。据说，numpy/scipy求逆和行列式就是LU分解，导致即使看起来行列式应该是整数，他也有个-15左右的误差。

行列式

1. 定义。行列式的定义有很多种。
   定义一(递归)：当$n\ge 2$，$n\times n$矩阵$A=[a_{ij}]$的行列式是形如$\pm a_{1j}|A_{1j}|$的$n$项的和，即
   $|A|=\sum _{j=1}^n(-1{)}^{i+j}{a}_{ij}|A_{ij}|$，$A_{ij}$是除去第i行，第j列之后的子矩阵。
   定义二(求和)：
   $|A|=\sum _{k=1}^{n!}(-1{)}^k{a}_{1k_1}{a}_{1k_2}...a_{1k_n}$
   其中$k_1,k_2,...,k_n$是$1,2,...,n$的一个组合，$k$是$1,2,...,n$为了得到$k_1,k_2,...,k_n$锁发生的元素交换的次数。例如$n=4$, $k_1,k_2,...,k_n=2,3,4,1$，可以通过3次交换得到，故$k=3$，实际定义二可以通过定义一展开得到。通过这个公式可以看到，通过定义求行列式的时间复杂度是$n!$.

2. 若$A$为三角阵，则$|A|$为对角线上元素的乘积。通过定义，容易得到。

3. 行列式的性质：若$A$是方阵

• 若$A$的某一行的倍数加到另一行得到矩阵$B$，则$|B|=|A|$;
• 若$A$的两行互换得到矩阵$B$,则$|B|=-|A|$;
• 若$A$的某一行乘r得到矩阵$B$,则$|B|=r|A|$;
  上述都换成列也成立；
  下面先给出数学归纳法的证明：
  上述变换都可以通过一个左乘一个行变换矩阵$P$的方式来得到$B=PA$：
  $$|P|=\{\begin{array}{l}-1(行交换)\\ 1(行倍加)\\ r(行倍乘)\end{array}$$
  若上述定理对k阶矩阵成立$|B_{ij}|=\alpha |A_{ij}|$，则对于k+1阶矩阵，选取一个没有变换的行i进行余因子展开
  $$\begin{array}{rl}|B|& =\sum _{j=1}^{j=k+1}(-1{)}^{i+j}{b}_{ij}|B_{ij}|\\ & =\sum _{j=1}^{j=k+1}(-1{)}^{i+j}{a}_{ij}\alpha |A_{ij}|\\ & (因为改行没有发生变化，故b_{ij}=a_{ij})\\ & (因为B_{ij}是B的子矩阵，所有B_{ij}的变换都是相同的，所以任意|B_{ij}|=\alpha |A_{ij}|)\\ & =\alpha |A|\end{array}$$
  上述可以使用数学归纳法来证明，但是不够直观。比如第一条，实际上有点不可思议，因为如果$A$元素全为正，因为A的某行元素变大了，那行列式也应该变大，但是并没有。
  对于部分结论，可以有个更直观点的理解。
  对于第一条，假如是把第i行倍乘之后加到了第j行上，可以根据定义：
  $$\begin{array}{rl}|A|& =\sum _{k=1}^{k=n}(-1{)}^{j+k}{a}_{jk}|A_{jk}|\\ |B|& =\sum _{k=1}^{k=n}(-1{)}^{j+k}{b}_{jk}|B_{jk}|\\ & =\sum _{k=1}^{k=n}(-1{)}^{j+k}{b}_{jk}|A_{jk}|(因为是按照j行展开，AB只有j行不同，故余因子展开式除j行外都是一样的)\\ & =\sum _{k=1}^{k=n}(-1{)}^{j+k}{a}_{jk}|A_{jk}|+\sum _{k=1}^{k=n}(-1{)}^{j+k}r{a}_{ik}|A_{jk}|\\ & =|A|+\sum _{k=1}^{k=n}(-1{)}^{j+k}r{a}_{ik}|A_{jk}|\end{array}$$
  观察第二项不难发现，其等价于$A$的第j行替换成第i行倍乘r之后的行列式，因为此时第i行和第j行线性相关，所以该值为0.这里需要注意的是，这里并不是利用了|A+B|=|A|+|B|(对于大多数矩阵，这不成立)，只是利用定义展开后恰好发现是两个矩阵行列式之和。
  $\therefore |B|=|A|$

对于第三条，根据定义，按照倍乘的行进行展开可以直接得出，不再描述。

• $|A^T|=|A|$
• $A$是可逆的$⟺|A|\ne 0$
• $A,B$均为$n\times n$方阵，则$|AB|=|A||B|$
  证明一：若$A,B$其中一个不可逆，则两边都是0，自然成立。对于$A,B$都可逆的情况。对$A,B^T$进行PLU分解，得$A=P_1{L}_1{U}_1,B^T=P_2{L}_2{U}_2$。
  $$\begin{gathered} \begin{array}{rl}|AB|& =|A{B}^{TT}|=|P_1{L}_1{U}_1(P_2{L}_2{U}_2{)}^T|\\ & =|P_1{L}_1{U}_1{U}_2^T{L}_2^T{P}_2^T|\end{array} \\ \therefore |P_1^{-1}{L}_1^{-1}AB{L}_2^{-1}{P}_2^{-1}|=|U_1{U}_2| \end{gathered}$$
  因为$A$每发生一次行交换，$B$每发生一次列交换，等价于AB也发生一次交换，正好和$P_1,P_2$的-1重数抵消
  通过以上变换，将|AB|变成了上三角矩阵相乘，结果仍是上三角矩阵，且行列式为对角线元素乘积。而变换过程只用了行倍加变换和行交换，不改变矩阵的行列式的值(-1重数已经抵消掉)，而$U_1,U_2$也恰好是矩阵$A,B$的行列式，故$|AB|=|A||B|$
  证明二：对于可逆的情况
  $$\begin{array}{rl}AB& =(\prod _{i=n}^{i=1}{P}_i)B\\ |AB|& =\left|(\prod _{i=n}^{i=1}{P}_i)B\right|\\ & =(\prod _{i=n}^{i=1}{\alpha }_i)|B|\end{array}$$
  而$(\prod _{i=n}^{i=1}{\alpha }_i)=|A|$
  理解是：${\alpha }_i$是做行初等变换的系数(-1交换, 1行倍加,r单行倍乘)，AB可以看做是B矩阵经过一系列行初等变换得到，其中每一步行列式都可能会发生变化，而最后的结果是各个系数的乘积。

特征值和特征向量

1. 对于$n\times n$矩阵$A$和$B$，如果存在可逆矩阵$P$，使得$P^{-1}AP=B$，则称$A$相似于$B$. 若令$Q=P^{-1}$，则$Q^{-1}BQ=A$，即$B$也相似于$A$. 一般简单说$A$和$B$相似. 若$A$和$B$相似，则$A$和$B$具有相同的特征值。
   证明一: 若$\lambda$是$A$的一个特征值，则存在$v$，使得$Av=\lambda v$
   $$\begin{gathered} Av=Q^{-1}BQv=\lambda v⟹ \\ BQv=Q\lambda v=\lambda Qv \end{gathered}$$
   令$w=Qv$，则$Bw=\lambda w$，因此$\lambda$是$B$的特征值，$w=Qv$是对应的$B$的特征向量。
   上述证明还要求$w\ne 0$，这个也是容易得到的。可以使用反证法：
   $w=Qv$表示的是以$v$的各个分量为权重的$Q$的各列的线性组合，因为$Q$可逆，所以Q各列线性无关。如果$w=0$，只能是$v$的各个分量都为0，即$v=0$. 这和$v$是$A$的特征向量矛盾。
   证明二：若$\lambda$是$A$的一个特征值，则$|A-\lambda I|=0$.
   $$\begin{array}{rl}|B-\lambda I|& =|P^{-1}AP-\lambda I|\\ & =|P^{-1}AP-\lambda P^{-1}IP|\\ & =|P^{-1}(A-\lambda I)P|\\ & =|P^{-1}|\cdot |(A-\lambda I)|\cdot |P|=0\end{array}$$
   故$\lambda$是$B$的特征值。

2. 若$\lambda$是$A$的特征值，则${\lambda }^2$是$A^2$的特征值。
   证明容易: $$\begin{gathered} \because Av=\lambda v \\ \therefore A^{2}v=AAv=A(Av)=A\lambda v=\lambda Av={\lambda }^{2}v \end{gathered}$$

3. 方阵特征值分解$A=P^{-1}DP$
   $$A{v}_i={\lambda }_i{v}_i$$，如果把各个特征向量$v_i(列向量)$放在一起，则
   $$A[v_1,v_2,...v_n]=[{\lambda }_1{v}_1,{\lambda }_2{v}_2,...{\lambda }_n{v}_n]$$，可见右边矩阵是各个特征向量(列向量)的线性组合，需要右乘权重矩阵，得到
   $$[{\lambda }_1{v}_1,{\lambda }_2{v}_2,...{\lambda }_n{v}_n]=[v_1,v_2,...v_n]\left[\begin{array}{cccc}{\lambda }_1& 0& ...& 0\\ 0& {\lambda }_2& ...& 0\\ ...& & & \\ 0& 0& ...& {\lambda }_n\end{array}\right]$$
   如果A的各个特征向量组成的矩阵可逆，则有
   $$\begin{array}{rl}A& =A[v_1,v_2,...v_n][v_1,v_2,...v_n{]}^{-1}\\ & =[{\lambda }_1{v}_1,{\lambda }_2{v}_2,...{\lambda }_n{v}_n][v_1,v_2,...v_n{]}^{-1}\\ & =A[v_1,v_2,...v_n]\left[\begin{array}{cccc}{\lambda }_1& 0& ...& 0\\ 0& {\lambda }_2& ...& 0\\ ...& & & \\ 0& 0& ...& {\lambda }_n\end{array}\right][v_1,v_2,...v_n{]}^{-1}\end{array}$$

4. $A$是$n\times n$矩阵，为了更好的理解$A\mathbf{x}$对$\mathbf{x}$的作用可以这么看:假设${\mathbf{v}}_1,{\mathbf{v}}_2,...,{\mathbf{v}}_{\mathbf{n}}$是$A$的特征向量，且他们线性无关，则$\mathbf{x}=c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+...+c_n{\mathbf{v}}_{\mathbf{n}}$，则
   $$\begin{gathered} A\mathbf{x}=c_{1}A{\mathbf{v}}_1+c_{2}A{\mathbf{v}}_2+...+c_n{\mathbf{v}}_{\mathbf{n}} \\ =c_1{\lambda }_1{\mathbf{v}}_1+c_2{\lambda }_2{\mathbf{v}}_2+...+c_n{\lambda }_n{\mathbf{v}}_{\mathbf{n}} \end{gathered}$$
   所以$A\mathbf{x}$相当于$A$对$\mathbf{x}$在$A$的各个特征向量的方向上进行尺度变换。这个也可以解释，为什么$\underset{n\to \infty }{\lim }{A}^{n}x$是收敛还是发散取决于$A$最大的特征值。

5. 复数特征值，代表对特征向量进行旋转，这个旋转不是在${\mathbb{R}}^n$空间上的旋转，而是在复数空间的旋转。这个实际上很难理解，原因在于本来特征$\mathbf{v}$就是一个高维的了，结果其每个分量还是复数。
   Q:

• 是不是每个方阵都会有n的线性无关的特征向量？
  不是，约当块就不是。
  证明：构造一个约当块A
  $$A_{i,j}=\{\begin{array}{l}a(i=j)\\ 1(j=i+1)\\ 0(other)\end{array}$$
  例如$A=\left[\begin{array}{cccccc}a& 0& 0& 0& 0& 0\\ 1& a& 0& 0& 0& 0\\ 0& 1& a& 0& 0& 0\\ 0& 0& 1& a& 0& 0\\ 0& 0& 0& 1& a& 0\\ 0& 0& 0& 0& 1& a\end{array}\right]$
  证明过程后续补充。

Q: 初等行/列变换对特征值影响？
一般来说特征值和特征向量都会变，但是会变大还是变小？方向有什么变化？

正交性

1. 如果$A$是对称矩阵，$v_i,v_j$是不同特征空间的两个特征向量，则$v_i,v_j$是正交的。
   证明容易:
   $$\begin{gathered} \begin{array}{rlr}{\lambda }_i{v}_i\cdot v_j& =(\lambda v_i{)}^T{v}_j& =(A{v}_i{)}^T{v}_j\\ & =(v_i^T{A}^T)v_j& =v_i^T(A{v}_j)\\ & =v_i^T{\lambda }_j{v}_j& \\ & ={\lambda }_j{v}_i^T{v}_j& ={\lambda }_j{v}_i\cdot v_j\end{array} \\ \therefore ({\lambda }_i-{\lambda }_j)v_i\cdot v_j=0，而{\lambda }_i\ne {\lambda }_j，故v_i\cdot v_j=0 \end{gathered}$$

2. 如果$P=[{\mathbf{u}}_1,{\mathbf{u}}_2,...{\mathbf{u}}_{\mathbf{n}}]$，${\mathbf{u}}_{\mathbf{i}}$是${\mathbb{R}}^n$上的单位正交基，则有$P^{-1}=P^T$.
   $$\begin{array}{rl}{P}^{T}P& =[{{\mathbf{u}}_1}^T;{{\mathbf{u}}_2}^T;...{{\mathbf{u}}_{\mathbf{n}}}^T]\cdot [{\mathbf{u}}_1,{\mathbf{u}}_2,...{\mathbf{u}}_{\mathbf{n}}]\\ & =\left[\begin{array}{cccc}{{\mathbf{u}}_1}^T{\mathbf{u}}_1& {{\mathbf{u}}_1}^T{\mathbf{u}}_2& ...& {{\mathbf{u}}_1}^T{\mathbf{u}}_{\mathbf{n}}\\ {{\mathbf{u}}_2}^T{\mathbf{u}}_1& {{\mathbf{u}}_2}^T{\mathbf{u}}_2& ...& {{\mathbf{u}}_2}^T{\mathbf{u}}_{\mathbf{n}}\\ ...& & & \\ {{\mathbf{u}}_{\mathbf{n}}}^T{\mathbf{u}}_1& {{\mathbf{u}}_{\mathbf{n}}}^T{\mathbf{u}}_2& ...& {{\mathbf{u}}_{\mathbf{n}}}^T{\mathbf{u}}_{\mathbf{n}}\end{array}\right]\end{array}$$
   因为P各列是单位正交的，所以，只有对角线上的数值为1(单位)，非对角线乘积为0(正交)，故$P^{T}P$为单位阵，$P^{-1}=P^T$

3. 对于矩阵$A$和向量$v$，$Av$可以理解为使用矩阵$A$对向量$v$进行变换(伸缩和旋转)。如果对向量v进行多次变化，会是什么样呢？
   思路一：
   $$\begin{gathered} A...(A(Av))=A^{n}v \\ =A^n(v_{\to }+v_{\perp }) \end{gathered}$$
   等价于使用$A^n$对向量$v$进行变换。前面已经证明，如果$\lambda$是$A$的特征值，则${\lambda }^n$是$A^n$的特征值。为了利用特征值和特征向量的特点，我们对$v$进行分解，沿着$A$的特征值最大的特征向量和垂直于这个方向。那么因为n次方之后，对特征值的伸缩非常大，所以使用$A^n$对$v$进行变换的话，对特征向量方向的分量影响非常显著。对于除最大值之外的特征向量的影响不明显。
   思路二：如果每次乘完之后都把特征向量的分量给去掉，结果是怎么样呢？

4. 向量正交$\mathbf{u},\mathbf{v}$等价于内积为0
   证明1: 从代数上来说$\mathbf{u}\cdot \mathbf{v}={\mathbf{u}}^T\mathbf{v}=||\mathbf{u}||||\mathbf{v}||cos\theta$，其中$\theta$是$\mathbf{u},\mathbf{v}$的夹角，若$\mathbf{u},\mathbf{v}$垂直，则 $cos\theta =0$，故${\mathbf{u}}^T\mathbf{v}=0$
   证明2: 从几何上来说，$\mathbf{u},\mathbf{v}$若垂直，则根据中垂线定理$\mathbf{v}$到$\mathbf{u}$和$-\mathbf{u}$的距离相等，即
   $$\begin{array}{rl}||\mathbf{v}-\mathbf{u}||& =||\mathbf{v}-(-\mathbf{u})||⟹\\ ||\mathbf{v}-\mathbf{u}|{|}^2& =||\mathbf{v}+\mathbf{u}|{|}^2⟹\\ ||\mathbf{u}|{|}^2+||\mathbf{v}|{|}^2-2\mathbf{uv}& =||\mathbf{u}|{|}^2+||\mathbf{v}|{|}^2+2\mathbf{uv}⟹\\ 4\mathbf{uv}& =0⟹\\ \mathbf{uv}& =0\end{array}$$

5. 正交投影和相关性质
   正交补定义：${\mathbf{u}}_1,{\mathbf{u}}_2,...,{\mathbf{u}}_{\mathbf{n}}$空间${\mathbb{R}}^n$的一组正交基，对于 W = S p a n { u 1 , u 2 , . . . , u i } W=Span\{\bold {u_1},\bold {u_2},...,\bold {u_i}\} W=Span{u1​,u2​,...,ui​}，$W$是${\mathbb{R}}^n$的有一个子空间，如果向量$z$和$W$中的任意一个向量都垂直，与子空间$W$正交的向量的全体组成的集合成为$W$的正交补，记作$W^{\perp }$.
   定理：若$A是m\times n$矩阵，那么$A$的行向量空间的正交补是$A$的零空间，且$A$的列向量空间的正交补是$A^T$的零空间：
   $(RowA{)}^{\perp }=NulA,(ColA{)}^{\perp }=Nul{A}^T$
   若$x是NulA$的向量，那么$x$与$A$的每一行都正交(将行作为${\mathbb{R}}^n$空间中的向量)，由于$A$的行生成$A$的行空间，向量$x$与$RowA$正交。反之，如果$x$与$RowA$正交，则$x$与$A$的每一行正交，因此$Ax=0$.如果将$A$换成$A^T$，利用$Row{A}^T=ColA$，可以证明结论。
   若向量$v\in W,v\in W^{\perp }$，则$v=0$。
   证明：因为$W^{\perp }$中任意一个向量都和$W$中任意一个向量正交，故$v\cdot v=0⟹v=0$
   正交投影定义：对${\mathbb{R}}^n$中给出的非零向量$\mathbf{u}$，考虑${\mathbb{R}}^n$中的一个向量$\mathbf{y}$分解为两个向量和的问题，一个向量是向量$\mathbf{u}$的数量乘积，另一个向量与$\mathbf{u}$垂直。我们可以写成$\mathbf{y}=\hat{\mathbf{y}}+\mathbf{z}$，其中$\hat{\mathbf{y}}=\alpha \mathbf{u}$，$\alpha$是一个数，$\mathbf{z}$是一个垂直于$\mathbf{u}$的向量。
   下面给出$\alpha ,\hat{\mathbf{y}}$的计算方法(实际上这个从勾股定理也很容易得到)。
   $$\begin{gathered} \begin{array}{rl}0=\hat{\mathbf{y}}\mathbf{z}& =\alpha \mathbf{u}\cdot (\mathbf{y}-\alpha \mathbf{u})\\ & =\alpha \mathbf{u}\cdot \mathbf{y}-{\alpha }^2\mathbf{u}\cdot \mathbf{u}⟹\end{array} \\ \therefore \alpha =\frac{\mathbf{u}\cdot \mathbf{y}}{\mathbf{u}\cdot \mathbf{u}},\hat{\mathbf{y}}=\alpha \mathbf{u}=\frac{\mathbf{u}\cdot \mathbf{y}}{\mathbf{u}\cdot \mathbf{u}}\mathbf{u} \end{gathered}$$

6. 前面有对称方阵的各个特征向量正交的定理。对此做一个推广($U$不限制是方阵，所以，U的各列不一定能生成${\mathbb{R}}^n$，有可能只是一个子空间)：一个$m\times n$的矩阵$U$，$U$的各列是单位正交基的充要条件是$U^{T}U=I$，证明方法类似。由此设U是具有单位正交列的m\times n矩阵，可以得到一些推论
   $$\begin{array}{rl}& a)||Ux||=||x||;\\ & b)Ux\cdot Uy=x\cdot y;\\ & c)Ux\cdot Uy=0;\\ & d)||Ux-Uy||=||x-y||;(保距映射)\end{array}$$
   证明a):
   $$\begin{gathered} \begin{array}{rl}||Ux|{|}^2& =(Ux)\cdot (Ux)\\ & =(Ux{)}^T(Ux)\\ & =x^T{U}^{T}Ux\\ & =x^{T}x=||x|{|}^2\end{array} \\ \therefore ||Ux||=||x|| \end{gathered}$$
   这个定理有点意思。$Ux=[u_1,u_2,...,u_n]\cdot [x_1,x_2,...x_n]=\sum (x_i{\mathbf{u}}_i)$，表示以x各个分量为权重的U的各列的线性组合(因为是右乘x)，其中的每个$||u_i||$都是1，但是不同$u_i$同列的分量可能差别很大，但是最终的模还是$x$的模，就很奇妙。诶，举了个具体数值的例子$U=\left[\begin{array}{cc}1/3& 0\\ 2/3& -\sqrt{2}/2\\ 2/3& \sqrt{2}/2\end{array}\right]$，瞬间就更明白了。
   $$\begin{gathered} \begin{array}{rl}Ux& =[{\mathbf{u}}_1,{\mathbf{u}}_2,...,{\mathbf{u}}_n]\cdot [x_1,x_2,...x_n]\\ & =x_1{\mathbf{u}}_1+x_2{\mathbf{u}}_2+...+x_n{\mathbf{u}}_n\end{array} \\ \therefore ||Ux|{|}^2=\sum _{i=1}^n{x}_i^2{\mathbf{u}}_i^T{\mathbf{u}}_i+\sum _{i=0}^n\sum _{j=i+1}^{n}2x_i{x}_j{\mathbf{u}}_i^T{\mathbf{u}}_j \end{gathered}$$
   因为${\mathbf{u}}_i$是单位正交基，所以
   $${\mathbf{u}}_i^T{u}_j=\{\begin{array}{l}0(i\ne j)\\ 1(i=j)\end{array}$$
   $$\therefore ||Ux|{|}^2=\sum _{i=1}^n{x}_i^2=||x|{|}^2$$
   以上也是另外一种证明。
   为什么是各列是单位正交基而不是各行？
   证明b):
   $$\begin{array}{r}Ux\cdot Uy=(Ux{)}^T(Uy)=x^T{U}^{T}Uy=x\cdot y\end{array}$$

7. 若U是方阵，U的各列单位正交，则U的各行也单位正交。
   证明：因为$U$的各列单位正交，$U^{T}U=U^{-1}U=I=U{U}^{-1}=U{U}^T$.
   通常情况使用向量表示矩阵，一般会分解成列向量的形式，但是这里，以下的向量都是行向量。
   设$U=\left[\begin{array}{c}{u}_1\\ u_2\\ ...\\ u_n\end{array}\right]$，
   $$\begin{array}{rl}U{U}^T& =\left[\begin{array}{c}{u}_1\\ u_2\\ ...\\ u_n\end{array}\right]\cdot \left[\begin{array}{cccc}{u}_1& u_2& ...& u_n\end{array}\right]\\ & =\left[\begin{array}{cccc}{u}_1{u}_1^T& u_1{u}_2^T& ...& u_1{u}_n^T\\ u_2{u}_1^T& u_2{u}_2^T& ...& u_2{u}_n^T\\ ...& & & \\ u_n{u}_1^T& u_n{u}_2^T& ...& u_n{u}_n^T\end{array}\right]\\ & =\left[\begin{array}{cccc}1& 0& ...& 0\\ 0& 1& ...& 0\\ ...& & & \\ 0& 0& ...& 1\end{array}\right]\end{array}$$
   对于${\mathbf{u}}_i^T{u}_j=\{\begin{array}{l}0(i\ne j)\\ 1(i=j)\end{array}$，所以$U$的各行也是单位正交的。
   Q:

正交投影和子空间

1. 对于给定向量$y\in {\mathbb{R}}^n$和${\mathbb{R}}^n$子空间$W$，存在$\hat{y}\in W$，1)W中有唯一向量$\hat{y}$，使得$y-\hat{y}$和W正交，即$y-\hat{y}\in W^{\perp }$，可通过正交分解定理求得; 2) $\hat{y}$是W中最接近$y$的向量(最佳逼近定理)。

2. QR分解(全称是啥找了半天也没找到)：对于各列线性无关的矩阵$A_{m\times n}$，那么A可以分解成$A=QR$，其中Q是$m\times n$，其各列构成$ColA$的一组单位正交基，R是一个上三角矩阵，且对角线上元素为正。通过格拉姆-施密特方法或者正交分解定理。描述一下格拉姆-施密特方法可以得到。
   备注：也有另外有一种QR分解$A_{m\times n}=Q_{m\times m}{R}_{m\times n}$
   设$A=[a_1,a_2,...a_n]$，$a_i$线性无关。设$Q=[q_1,q_2,...,q_n]$
   $$\begin{array}{rl}{q}_1& =a_1\\ q_2& =a_2-a_2^T{a}_1/||a_1|{|}^2{a}_1\\ q_3& =a_3-a_3^T{a}_1/||a_1|{|}^2{a}_1-a_3^T{a}_2/||a_2|{|}^2{a}_2\\ ...& \\ q_n& =a_n-a_n^T{a}_1/||a_1|{|}^2{a}_1-...-a_n^T{a}_{n-1}/||a_{n-1}|{|}^2{a}_{n-1}\end{array}$$
   根据定义$A=QR$实际上A是Q各列的线性组合，其中各列$a_i$只和Q的各列$q_j(0\le j<i)$，故而R是一个上三角矩阵，如果对角线上某个元素为负值，可以调整Q的对应的列的方向，使其为正。