1. 线性空间与线性映射
(1)线性空间(向量空间):在数域P和集合K上定义加法和标量乘法运算,满足K上的加法交换律/结合律/单位元/可逆、P与K之间的数乘结合律/单位元/向量加法分配律/标量加法分配律,一共8条运算规则,则称K是域P上的线性空间(也叫向量空间)。K中的元素称为向量,P称为线性空间的基域。当P是实数域时K称为实线性空间,当P是复数域时K称为复线性空间。当K为全体n维实数向量时,线性空间记作 。线性空间实质上是一个集合附上两个运算(加法和数乘)以及8条运算规则组成的数学结构。
注意:向量空间是一个抽象的对象,其中的元素,可以是数组、函数、映射、或任何古怪的对象。
线空间的性质:加法单位元唯一、加法逆元唯一
(2)子空间:W是V的子空间,表示W是V的子集,W对于V上的加法和标量乘法封闭。注意子空间也构成一个线性空间。
(3)线性相关和线性无关:在中,如果存在一组不全为0的数 ,使得 ,称向量组线性相关,否则称线性无关(即方程组只有零解)。
线性表出:在向量空间中,给定向量组 ,如果存在 ,使得 ,则称 可由线性表出。
极大线性无关组:向量组 是的极大线性无关,等价于:可以线性表出,其中是的一个部分组;并且中的任一向量不可由该向量组的其他向量线性表出。
(4)线性空间的基和维数:向量组是是线性空间W的基,表示,线性无关,且W中的每个向量都可以由线性表出。注意线性空间的基可能有多个,但不同基的向量个数是相同的。基张的线性空间记作。
维数:线性空间的基中向量的个数,记作 dim W。维数为n的线性空间中任意n+1向量都线性相关。
一些向量空间的维数:,域F上的m次多项式集合 ,因为是的基。
(5)向量的坐标:任取中的一组基,若,则数组 是向量在基下的坐标。在一个基下,向量的坐标表示是唯一的。坐标表示可以写成
(6)线性空间的和:定义为 ,若各个子空间任意两个的交集为零向量{0},则这样的和称为直和。注意线性空间的和也是线性空间。
(7)映射的核和像:对映射,核是被映射为0的元素构成的子集 ,也称为映射的零空间。像为,也称为映射的值域。
(8)线性映射(线性变换):同一域上的两个线性空间之间保持可加性、齐次性的映射。是相同域上的两个线性空间,映射,如果是可加的,是齐次的,则T称为线性映射。从线性空间V到W的所有线性映射的集合记作L(V,W)。V到其自身的线性映射,称为算子。记作L(V)。常见的线性映射:
恒等映射:,每个元素都映射到自身即Ia=a,恒等映射的矩阵是单位矩阵。
微分:定义映射 ,D是函数到函数映射,此映射是线性的。P(R)表示系数在R上的所有多项式
积分:定义映射,T是线性的。
(9)线性映射关于给定基的矩阵:对于一个线性映射 ,和是两边线性空间中给定的基,基元素在映射下的像可以唯一地表示成基的线性组合
对任意元素x,可以唯一地表示为的线性组合,则Ax可表示为
在给定的基下,中间那个的矩阵是唯一的固定不变的,与任意元素x无关。这个矩阵就是线性映射在给定基下的矩阵表示,更准确的可以记作 。不同的基对应的矩阵一般不同,由此一个抽象的线性映射转化为了一个具体的矩阵。特别注意这个矩阵不仅依赖于线性映射,也依赖于基的选取。常用的基是规范正交基。
(10)线性映射的可逆:线性映射 可逆,如果存在线性映射使得ST等于V上的恒等映射,TS等于W上的恒等映射。
(11)同构:同构就是可逆的线性映射。若两个线性空间之间存在一个同构,则称这两线性空间是同构的。同构表明两个空间本质上相同。
(12)线性空间的积:定义为。线性空间的积也是线性空间。并且
(13)仿射子集(陪集):形如 的子集,称为V的仿射子集,也称为U的陪集。集合v+U与U是平行的。平行于U的两个仿射子集要么相等,要么平行(即不相交)。
(14)商空间V/U:是指V的所有平行于子空间U的仿射子集的集合,即。商空间上定义加法和标量乘法后也构成线性空间
(15)线性泛函:V是域F上的线性空间,则V到F的线性映射称为V上的线性泛函,即线性泛函是L(V, F)中的元素。
(16)对偶空间:V上的所有线性泛函构成的向量空间,记作
(17)对偶基:若是V的基,则其对偶基是中的线性泛函组,满足。对有限维的线性空间,对偶基是其对偶空间的一个基。
(18)对偶映射:线性映射 ,其对偶映射为 满足 ,它将W上的线性泛函映射为V上的线性泛函。
(19)零化子:对子空间,U的零化子是把U中所有元素都映射到0的线性泛函的集合,是的子集,并且是的子空间,有
主要定理:
(1)线性无关的主要性质:任一有限向量组都存在极大线性无关组。线性无关则表出方式唯一。线性相关则表出方式有无穷多种。同一向量组的不同极大线性无关组所含向量个数是相同的,此个数称为向量组的秩rank。
(2)基的判定定理:若,则W中任意r个线性无关的向量都是W的一个基。若W中的某r个向量可以线性表出W中的全部向量,则这个r个向量是W的一个基。
(3)基的相关性质:每个有限维的线性空间都有基。在有限维向量空间中每个线性无关的向量组都可扩充成基。
(4)子空间基本性质:是线性空间V的子空间,则
(5)线性映射与定义域的基:若是X的基,,则存在唯一的线性映射,使得对任意的,有
(6)线性映射的性质:线性映射集合L(V,W)上定义映射间的加法和标量乘法、乘法(复合),则L(V,W)也构成线性空间。
线性映射的核是定义域V的子空间,而像是W的子空间。
线性映射是单射等价于核只有一个元素即零元。
(7)线性映射基本定理:V是有限维线性空间,T是V到任意线性空间W的线性映射,则是有限维的,并且
证明思路:设是ker T的基,有dim(ker T)=m。将其扩充成V的基 ,只要证dim(im T)=n,转化成证是im T的基。
(8)对有限维线性空间,如果 ,则V到W的线性映射一定不是单射。如果 ,则V到W的线性映射一定不是满射。
(9)线性方程组:当变量多于方程时,齐次线性方程组必有非零解。当方程多于变量时,必有一组常数项使得相应的非齐次线性方程无解。
(10)齐次线性方程组的解空间:齐次线性方程组 的全部解(每个解是一个向量)组成的集合W是一个线性空间,称为其解空间。若,则解空间的维数。通过行初等变换可以得到一个基础解系 ,则解空间 。
(11)非齐次线性方程组的解空间:非齐次线性方程组 ,通过初等行变换可以得到一个特解,另外其对应齐次方程组解空间为W,则原非齐次线性方程组的解空间为
(12)矩阵空间:元素取自F的矩阵记作,定义矩阵的加法、标量乘法后, 是mn维线性空间。给定V和W的基后,一个线性映射对应一个矩阵,因此M是从线性映射空间到矩阵空间的映射,它也是线性映射。
(13)线性映射的代数性质:线性映射A, B对应基的矩阵为M(A), M(B)。则映射的和A+B对应的矩阵M(A+B)=M(A)+M(B),映射数乘kA对应的矩阵M(kA)=kM(A),映射复合AB对应的矩阵M(AB)=M(A)M(B)。
(14)一个线性映射可逆,当且仅当它是双射(既是单射又是满射)。对有限维的算子T,单性等价于满性。即T可逆,等价于T是单射,等价于T是满射。
(15)向量空间的同构:实数域或复数域上的任意两个有限维向量空间同构,当且仅当其维数相同,即n=m。
(16)线性映射与矩阵的同构:设线性空间V是n维的,W是m维的,给定V和W的基后,线性映射与矩阵的对应是线性映射空间L(V, M)与矩阵空间之间的同构,即M是可逆的线性映射。一个线性映射对应一个矩阵,一个矩阵也对应一个线性映射。因此有
(17)直和的一些等价条件:是直和,等价于映射线性映射是单射;等价于
(18)商空间性质:
(19)对偶映射的代数性质:
(20)对偶空间的性质:设V和W是有限维的,对线性映射,T是满射等价于是单射。T是单射等价于是满射。。的矩阵是T的转置。range T的维数等于其矩阵M(T)的秩。
2. 不变子空间与内积空间
(1)矩阵乘法:满足结合律、分配律,但不满足交换律。由乘法定义可知两个矩阵若要可交换则必须都是同阶的方阵。矩阵乘法也可以用另一种等价的方式来定义,即列向量的线性组合。
(2)过渡矩阵:对线性空间V的两个不同的基和,有
则矩阵S称为基到基的过渡矩阵。
(3)矩阵相似:如果存在一个可逆矩阵P,使得,则称矩阵A和B相似。
(4)多项式带余除法:P(F)表示系数在F上的所有多项式构成的向量空间。设,则存在唯一的多项式 ,使得,且多项次数满足
(5)不变子空间:U是V的子空间,是算子,若对每个都有,则称U是在T下的不变子空间。不变子空间是映射到自身。显然{0}, V, ker T、im T是不变子空间。
(6)算子的特征值/特征向量:对线性算子,若存在数和非零向量,使得,即,则为T的特征值,v为T相对于的特征向量。
(7)算子的特征空间:算子T对应的特征空间定义为,即T相对于的全体特征向量加上0向量构成的集合。
(8)可对角化的算子:算子关于V的某个基有对角矩阵(对角线以外元素都为0的方阵)。
(9)内积空间:对域F上的线性空间V,内积是一个函数,把V中元素的每个有序对都映成一个数 ,满足正性、定性、第一个位置的加性、第一个位置的齐性、共轭对称性 共5条性质。带有内积的线性空间称为内积空间。常用内积:
上的欧几里得内积:
[-1,1]上实值连续函数构成的线性空间:
上的多项式构成的性空间:
(10)范数:对向量空间V中的元素v,范数
向量正交:
(11)规范正交基:向量组中的每个向量的范数都1,且与其他向量都正交,它们是线性无关的,构成内积空间V的规范正交基。
将任一向量写成规范正交基的线性组合:,且有
(12)正交补:U是V的子集,U正交补记作 ,表示V与U的每个向量都正交的那些向量构成的集合。有性质
(13)正交投影算子:内积空间V到其子空间U的正交投影定义为算子,对每个,可唯一地写成U中的一个向量,与跟U正交的一个向量的和(即),则。即将V中的向量映射到U的某个向量,它是在垂直于U的方向上的投影。注意这样的定义满足线性映射条件,因此是一个算子。
对和U的每个规范正交基 ,均有
主要定理:
(1)可交换矩阵的性质:
;
;
满足二项式定理;
对任意由矩阵生成的多项式f(A), g(A),有 f(A)g(A)=g(A)f(A)
(2)代数学基本定理:每个非常数的复系数多项式都有零点。
(3)复系数多项式的分解:非常数的复系数多项式可唯一分解(不计因式次序)为 ,其中
(4)实系数多项式的分解:非常数的实系数多项式可唯一分解(不计因式次序)为 ,其中 ,并且对每个j均有
(5)特征向量的线性无关性:算子的不同特征值对应的特征向量是线性无关的。
(6)特征值最大和最小个数:有限维的线性空间V上的算子最多有dimV个不同的特征值。有限维非零复向量空间上的每个算子都有特征值。
(7)算子的上三角矩阵:V是有限维复向量空间,T是V上的算子,则T关于V的某个基有上三角矩阵。T可逆当且仅当这个上三角矩阵的对角线上的元素都不是0。并且T的特征值恰为这些对角线上的元素。
(8)算子的矩阵相似性:算子在任意两个基下的过渡矩阵可逆。同一算子对应不同基下的矩阵相似。
(9)特征空间的和是直和:算子的所有互异特征值构成的特征空间之和是直和,并且有
(10)算子可对角化的等价条件:线性空间V中存在由算子T的特征向量构成的基。V中存在对算子不变的一维子空间使得。对算子的所有互异特征值有。对算子的所有互异特征值有。
算子可对角化的充分条件:算子有dimV个互异特征值。
(11)毕达哥拉斯定理:线性空间V中若两向量正交,则有
(12)正交分解:对内积空间中任意两个元素,有
(13)柯西-施瓦茨不不等式:对内积空间中的任意两个元素,有 ,等号成立当且仅当u与v平行,即一个是另一个的标量倍。
(14)Minkowski不等式(三角不等式):对内积空间中任意两个元素,有 ,等号成立当且仅当一个是另一个非负标量倍。
(15)平行四边形恒等式:
(16)施密特正交化过程:是内积空间V中的线性无关向量组,设 ,对 ,定义为
则是V的规范正交组。并且对 有 。
根据施密特正交化过程可知,每个有限维内积空间都有规范正交基。
(16)Schur定理:对有限维复内积空间上的算子 ,T关于V的某个规范正交基具有上三角矩阵。
(17)Riesz表示定理:对有限维复内积空间V上的线性泛函,存在唯一的向量,使得对每个 都有
使用规范正交基来求这样的唯一向量:
(18)极小化问题:给定内积空间V中的元素,和子空间U,求v到U的最小距离,即在U中求一元素u,使得最小。实际上对U中任意元素,有 ,等号成立当且仅当 ,因此v的正交投影就是所求的最小距离的元素。只要构造U的一个规范正交基,就可以求出 。
3. 线性算子理论
(1)矩阵的共轭转置:将矩阵A的行和列互换,并对每个元素取复共轭,就得到共轭转置。若这实数矩阵,则共轭转置等于普通的转置。
(2)伴随:对内积空间之间的线性映射,其伴随映射 表示对所有的 ,均有 ,伴随映射也是线性映射。的矩阵是T的矩阵的共轭转置。因此伴随在矩阵上表现为转置矩阵。
(3)自伴算子:对内积空间上的算子,若(矩阵),则称为为自伴算子。即当且仅当对所有的 ,均有 。其矩阵也称为埃尔米特矩阵。
(4)正规算子:对内积空间上的算子,若它的它的伴随是可交换的,即 (矩阵),则称为正规算子。其矩阵称为正规矩阵。自伴算子显然是正规的,正规是比自伴更弱的条件。
(5)正算子(半正定算子):表示自伴算子 ,并且对每个 均有 。若V是复向量空间,则T是自伴的条件可去掉。其矩阵也称为半正定矩阵(对每个非零向量x均有)。
(6)等距同构(正交算子):保持范数不变的算子。即对每个 均有 ,则算子S为等距同构。对实内积空间,也称为正交算子,对应矩阵称为正交矩阵()。对复内积空间,也称为酉算子,对应矩阵称为酉矩阵()。
总结:
自伴算子:对应埃尔米特矩阵,即矩阵是自共轭的(对实数矩阵就是实对称的)
正规算子:对应正规矩阵
半正定算子:对应半正定矩阵
正定算子:对应正定矩阵
正规算子:对应正规矩阵
等距同构(正交算子/酉算子):对应正交矩阵/酉矩阵
(7)算子的谱:算子所有特征值构成的集合。
(8)奇异值:对内积空间上的算子,T的奇异值就是 的特征值,而且每个特征值都要重复 次。实际上,T的奇异值是的特征值的非负平方根,并且每个特征值都要重复 次。
(9)广义特征向量:是算子 的特征值,对非零向量,若存在正整数j使得,则是相对于的广义特征向量。相对于的所有广义特征向量的集合,再加上零向量,构成的广义特征空间,记作
广义特征空间性质:。不同特征值的广义特征向量线性无关。
(10)特征多项式:对复线性空间上的算子 ,是所有互异特征值,重数分别为 ,多项式 称为T的特征多项式。特征多项式的零点是T的特征值。
主要定理:
(1)伴随的性质:,,,
(2)自伴算子的充要条件:对复内积空间上的算子,T是自伴算子当且仅当对每个 均有
自伴算子的性质:特征值都是实数。
(3)正规算子的充要条件:对复内积空间上的算子,T是正规算子当且仅当对每个 均有
正规算子性质:对算子,其伴随的所有特征值等于该算子所有特征值的复共轭。若T还是正规的,则它与它的伴随的特征向量也相同,并且不同特征值的特征向量是正交的。
(4)复谱定理:对复内积空间上的算子,T是正规算子,等价于V上存在一个由T的特征向量组成的规范正交基,每个特征值都是实数。等价于T关于V的某个规范正交基有对角矩阵。
(5)实谱定理:对实内积空间上的算子,T是自伴算子,等价于V上存在一个由T的特征向量组成的规范正交基,每个特征值都是实数。等价于T关于V的某个规范正交基有对角矩阵。
谱定理在有限维的情况,将所有可对角化的矩阵作了分类:它显示一个矩阵是可对角化的,当且仅当它是一个正规矩阵。谱定理给出了算子或者矩阵可以对角化的条件(也就是可以在某个基底中用对角矩阵来表示)。对角化的概念在有限维空间中比较直接,但是对于无穷维空间中的算子需要作一些修改。通常谱定理辨认出一族可以用乘法算子来代表的线性算子,这是可以找到的最简单的情况了。可以应用谱定理的例子有希尔伯特空间上的自伴算子或者更一般的正规算子。谱定理也提供了一个算子所作用的向量空间的标准分解,称为谱分解(特征值分解)。谱分解是舒尔(Schur)分解的特例,也是奇异值分解的特例。
(6)正算子的充要条件:对内积空间上的算子,T是正算子,等价于T是自伴的且T的所有特征值为非负实数。等价于T有正的平方根(即存在正算子R使得)。等价于T有自伴的平方根。等价于存在算子 使得。
(7)等距同构的充要条件:对内积空间上的算子,S是等距同构,等价于对所有的均有。等价于对V中的任意规范正交组均有是规范正交的。等价于。等价于。等价于是等距同构。等价于S可逆且。可见等距同构是正规算子。
(8)复内积空间的等距同构:对复内积空间上的算子,S是等距同构,等价于V有一个由S的特征向量组成的规范正交基,相应的特征值的绝对值均为1。
(9)极分解定理:内积空间V上任意一算子,都能分解成一个等距同构和一个正算子的乘积。即存在等距同构,使得 。
(10)奇异值分解定理:设算子有奇异值 ,则V有两个规范正交基和,使得对每个,均有 。即有
这说明只要处理算子时使用两个不同的基,那么V上每个算子关于V的某些规范正交基都有对角矩阵。
(11)复向量空间算子的分解:对复向量空间上的算子 ,可以分解成所有不同广义特征空间的直和,每个广义特征空间 在T下都是不变子空间,每个子算子 都是冥零算子(即某个冥等于0)。每个广义特征空间取一个基,将这些基放在一起就得到V的一个由广义特征向量组成的基。
(12)复向量空间可逆算子的k次方根:是复向量空间上的可逆算子,则对每个正整数k,T都有k次方根。
(13)Cayley-Hamilton定理:是线性空间上的算子,特征多项为,则
(14)极小多项式定理:是线性空间上的算子,则存在唯一一个次数最小的多项式 ,使得,这个多项式称为T的极小多项式。实际上极小多项式的零点恰好是T的特征值。
(15)奇数维实向量空间上的每个算子都有特征值,因此有一维不变子空间。
(16)不变子空间的存在性:有限维非零线性空间上的每个算子都一维或二维的不变子空间。
(17)实内积空间上的正规算子:是实内积空间上的正规算子,等价于V有规范正交基使得T关于这个基有分块对角矩阵,对角线上的每个块是1x1矩阵,或者形如 的2x2矩阵,其中b>0。
(18)实内积空间上的等距同构:是实内积空间上的等距同构,等价于V有规范正交基使得T关于这个基有分块对角矩阵,对角线上的每个块是由1或-1构成的1x1矩阵,或者形如 的2x2矩阵,其中 。
4. 算子的迹和行列式
(1)矩阵可逆:方阵A可逆,表示存在矩阵B,使得AB=BA=I。可逆也称为非奇异的。
(2)算子的迹:按重数重复的全体特征值的和,记作。矩阵的迹则是对角线元素之和,对矩阵有trace(AB)=trace(BA)。
(3)算子的行列式:按重数重复的全体特征值之积,记作det T。
(4)排列:自然数1,2,...,n的所有排列组成的集合,记作 。
在一个n元排列 中,如果一对数的前后位置与大小顺序相反,即前面的数大于后面的数,那么它们就称为一个逆序。一个排列中逆序的总数就称为这个排列的逆序数。逆序数如果为奇数,就称为奇排列,如果为偶数就称为偶排列。奇排列的符号定义为-1,即 ;偶排列的符号定义为1,即。
(5)矩阵的行列式:对n阶方阵
其行列式定义为 ,有时也记作|A|。
矩阵的行列式是可乘的 的:
主要定理:
(1)基变更公式:是线性空间上的算子,和是V的两个基,恒等算子的矩阵为 ,则T在这两个基的矩阵有关系 。
(2)迹定理:算子的迹等于其矩阵的迹,即 。它与基的选取无关,即各个基下的矩阵的迹都相等。
算子的迹是可加的:
(3)恒等算子不是ST与TS的差:不存在算子 ,使得
(4)算子可逆的充要条件:算子T可逆,等价于它的行列式是非零的,即
(5)算子行列式的性质:算子的行列式等于它矩阵的行列式。它与基的选取无关,即各个基下的矩阵的迹都相等。
交换行列式的两列有。有两个相等的列则行列式为零。等距同构的行列式绝对值等于1,即 。
(6)对内积空间上的算子 ,有
(7)算子对体积的拉伸作用:设 是n维欧氏空间的线性算子,点集 ,则有体积关系(测度意义下可测集的体积) 。可见等距同构不改变点集的体积。
5. 仿射空间和射影空间
(1)仿射空间:设K是一个域,则 称为域K上仿射空间,其中的每个元素称为空间中的一个点(与向量不同,它没有加法、数乘运算),称为该点的坐标。
图形:仿射空间中的任一子集
(2)仿射代数曲面:对域K上的多项式环 中的任一多项式 ,定义 ,即f在中的全体零点组成的图形,称为中的一个仿射代数曲面,n=2时V(f)称为仿射代数曲线
(3)仿射变换:设 是实数域上的n阶可逆方阵,,对实仿射空间内的任一点 ,定义变换 ,这里 称为内的仿射变换
令 ,则仿射变换公式可以写成
若A是正交矩阵,则称为正交变换
(4)仿射变换群:内的全体仿射变换组成的集合关于变换乘法构成的群。类似地有正交变换群
主要定理:
(1)仿射变换性质:内恒等变换仍为仿射变换,两个仿射变换的乘积仍为仿射变换,每个仿射变换都可逆,且其逆变换仍为仿射变换
(2)正交变换性质:内恒等变换仍为正交变换,两个正交变换的乘积仍为正交变换,每个正交变换都可逆,且其逆变换仍为正交变换
参考书籍:
(1)线性代数应该这样学,第3版,Sheldon Axler