线性空间的定义

线性空间（也称向量空间，vector space，linear space）

V是非空集合，F是一个数域，如果满足以下两个条件，称为V是F上的线性空间，记做 V(F)

1. 定义了两个运算
   • 定义了加法，使得$\forall u,v \in V \Rightarrow u+v\in V$，且唯一
   • 定义了数乘，使得$\forall u\in V,\forall \lambda\in F \Rightarrow \lambda u\in V$，且唯一
2. 运算律
   • (A1)加法交换律$u+v=v+u$
   • (A2)加法结合律$(u+v)+w=u+(v+w)$
   • (A3)具有0向量$\exists \theta,\forall u\in F^n,\theta+u=u$ ，记做$\theta=0$
   • (A4)具有负向量$\forall u\in F^n,\exists v\in F^n,u+v=0$，记做$v=-u$
   • (M1)对标量乘法分配律$\forall u \in F^n \forall a,b \in F,a(bu)=(ab)u$
   • (M2)$\forall u,1u=u$
   • (D1)乘法对向量和的分配率$a(u+v)=au+av$
   • (D2)乘法对数量和的分配率$(a+b)u=au+bu$

TH
显然，$F^n$的子空间是一个线性空间
如果V是F上的线性空间，那么以下命题成立

• V中的零向量唯一
• 每个向量的负向量唯一
• $\lambda \alpha=0 \Leftrightarrow \lambda=0 or \alpha=0$
• $\forall \alpha \in V,(-1)\alpha=-\alpha$

线性空间的衍生定义

线性组合

V是F上的线性空间，S是V的任意子集，S的任意有限子集\(S_1=\{\alpha_1,\alpha_2,...\alpha_k\}\)的任意线性组合$\beta=\lambda_1\alpha_1+\lambda_2\alpha_2+…+\lambda_k\alpha_k$都可以称作S的线性组合。(向量是集合的线性组合，也称为$\beta$可以被S线性表出)
V是F上的线性空间，S和T都是V的子集，如果T中的任意元素都是S的线性组合，那么叫做T是S的线性组合(集合之间的线性组合)
方程的线性组合 指的是，把m个方程分别乘以m个已知常数$\lambda_1,\lambda_2,…\lambda_n$得到的新方程。

等价

两个集合互为线性组合，叫做等价
矩阵行等价（row equivalent） ：$A,B \in F^{m\times n}$是矩阵，A的每一行都是B的线性组合，B的每一行都是A的线性组合

初等行变换（elementary transformation of rows）

对矩阵做如下的变换，叫做初等行变换

1. 某两行互换
2. 用F中的非0数乘某行
3. 把某行的常数倍加到另一行

TH：$A\in F^{m\times n}$是一个矩阵，A经过初等行变换后得到B，那么A与B行等价

子空间（subspace）（重新定义）

V是数域F上的线性空间, S是V的任意子集,如果满足以下条件，叫做W是V的子空间

• $u,v\in W \Rightarrow u+v\in W$
• $u\in W,\lambda \in F \Rightarrow \lambda u\in W$

TH V是F上的线性空间，W是V的子空间，那么W也是F上的线性空间
TH V的任意子集S，S全体线性组合的的构成的集合，是V的子空间

线性相关，线性无关

略

极大线性无关组

V是F上的线性空间，S是V的子集。M是S的子集，M线性无关，\(\forall \alpha \in S,M\cup \{ \alpha\}\)线性相关，那么M是S的极大线性无关组

TH

• S是V的子集，那么S的任意两个极大线性无关组等价，数量也相等
• V是F上的线性空间，$S_1,S_2 \subseteq V$分别有$n_1,n_2$个元素，$S_1$是$S_2$的线性组合。如果$n_1>n_2$,那么$S_1$线性相关；如果$S_1$线性无关，那么$n_1\leq n_2$

秩

向量组S的极大线性无关组的个数(前面定理，极大线性无关组等价、个数相等)

维度、基、坐标

V是F上的线性空间，那么定义一系列概念。
维度：极大线性无关组的个数。
基：极大线性无关组。
坐标：任意一个向量被基表示时的系数

TH
W是V的子空间，那么$\dim W \leq \dim V$，并且$\dim W=\dim V \Leftrightarrow W=V$

Steinitz替换定理
\(S=\{\alpha_1,...\alpha_s\}\)可以被\(T=\{\beta_1,...,\beta_t \}\)线性表示，那么：

• $s\leq t$
• 用S中的s个元素替换，T中的s个元素，存在替换方案，使得替换后的集合\(\{\alpha_1,\alpha_2,...,\alpha_s,\beta_{i_1},...,\beta_{i_{t-s}}\}\)与T等价

同构和同态

同构

同构（isomorphic）

V1, V2是数域F上的线性空间，如果存在一一映射$\sigma:V1 \to V2$，满足条件：

• $\sigma(\alpha+\beta)=\sigma(\alpha) + \sigma(\beta),\forall \alpha,\beta \in V1$
• $\sigma(\lambda \alpha)=\lambda \sigma(\alpha),\forall \alpha \in V1,\lambda \in F$
  称为：V1与V2 同构（isomorphic），$\sigma$是V1到V2的 同构映射（isomorphism）。
  特别的，若V1=V2，称 为自同构（automorphism）

TH 若$\sigma:V1 \to V2$是同构映射，那么：

1. 把0向量映射到0向量：$\sigma(0)=0$
2. 把负向量映射到负向量：$\sigma(-\alpha)=-\sigma(\alpha)$
3. 把线性无关映射到线性无关：$S \subseteq V_1$，S线性无关$\Leftrightarrow \sigma(S)$线性无关
4. 把基映射到基：M是V1的基$\Leftrightarrow \sigma(M)$是V2的基
5. 维数相等：$\dim V1=\dim V2$

TH 同一数域F上的任何两个线性空间，如果维度相等，那么同构

同态

同态（homomorphism）

V1, V2是数域F上的线性空间如果存在（不一定是一一）映射$\sigma:V1 \to V2$，满足条件：

• $\sigma(\alpha+\beta)=\sigma(\alpha) + \sigma(\beta),\forall \alpha,\beta \in V1$
• $\sigma(\lambda \alpha)=\lambda \sigma(\alpha),\forall \alpha \in V1,\lambda \in F$
  称为：$\sigma$是V1到V2的 同态映射（homomorphism）

TH 若$\sigma$是V1到V2的同态映射，那么：

1. 把0向量映射到0向量：$\sigma(0)=0$
2. 把负向量映射到负向量：$\sigma(-\alpha)=-\sigma(\alpha)$
3. 把线性相关映射到线性相关：$S\subseteq V1$，S线性相关$\Rightarrow \sigma(V1)$线性相关

子空间的交与和

子空间的交

V是F上的线性空间，$W_i(i\in I)$是V的子空间，$U=\bigcap\limits_{i\in I} W_i$叫做 子空间的交

TH 子空间的交也是子空间

子空间的和

V是F上的线性空间，$W_i(i\in I)$是V的子空间，定义\(W_1+W_2+...+W_t=\{\beta_1+\beta_2+...+\beta_t \mid \beta_i\in W_i, \forall i\in I\}\)为 子空间的和

TH（符号上接定义）

1. W是子空间
2. W是包含$\bigcup\limits_{i\in I} W_i$的最小子空间
3. 假如$M_i$是$W_i$的基，那么$\bigcup\limits_{i\in I} M_i$的生成子空间是$W_1+W_2+…+W_t$
4. $\dim(W_1+W_2+…+W_t)\leq \dim W_1+\dim W_2+…+\dim W_t$
5. $\dim(W_1+W_2)=\dim(W_1)+\dim(W_1)+\dim(W_2)-\dim(W_1\cup W_2)$

直和

（直和是一种和，区别在于子空间特殊） V是F上的线性空间，$W_i(i\in I)$是V的子空间。$W=W_1+W_2+…+W_t$，如果$\forall w\in W, w=w_1+w_2+…+w_t (w_i\in W_i,i\in I)$的分解式唯一，称为W是$W_i$的 直和，记做$W_1\bigoplus W_2 \bigoplus…\bigoplus W_t$

TH

1. $W_1+W_2+…+W_t$是直和的充分必要条件是:
   $w_1+w_2+…+w_t=0 \Leftrightarrow w_1=w_2=…=w_t=0$
2. $W_1+W_2+…+W_t$是直和的充分必要条件是:
   $\dim(W_1+W_2+…+W_t)=\dim(W_1)+\dim(W_1)+…+\dim(W_t)$
3. $W_1+W_2+…+W_t$是直和的充分必要条件是:
   $(W_1+W_2+…+W_{i-1})\cap W_i =0$对$2\leq i \leq t$成立

补空间（complement space）

$W \bigoplus U =V$，称为U是W在V中的补空间。

行列式

几何意义：
$det(a_1,a_2)$是对应平行四边形的面积，
$det(a_1,a_2,a_3)$是对应平行六面体的体积

1. 行列式可以看做向量的某种乘积，从而满足分配律和结合律 $\det(…,a_{i-1},xb+yc,a_{i+1},…)=x\det(…,a_{i-1},b,a_{i+1},…)+y\det(…,a_{i-1},c,a_{i+1},…)$
2. 某两组向量互换位置，变为相反数$\det(a_1,…,a_i,…,a_j,…)=-\det(a_1,…,a_j,…,a_i,…)$
3. 把某一行加到另一行，值不变（由第2条证）
4. 某两行相等的行列式，值为0（由第二条证明）
5. $\det A=\det A^T$

矩阵

对称矩阵(symmetric matrix)

$A^T=A$

反对称矩阵(anti-symmetric matrix)

$A^T=-A$

共轭矩阵

矩阵中的每个元素换成共轭复数，记做$\bar A$

Hermite matrix

满足$\bar A^T=A$的矩阵

anti Hermite matrix

满足$\bar A^T=-A$

TH

• $\bar A^T =\bar{A^T}$
• $A_{m\times n}$是矩阵，那么$AA^T$是对称矩阵
• $A$是反对称矩阵，那么$\forall X,X^T AX=0$

分块矩阵：分块矩阵的数乘、矩阵乘、转置有一些优美的规律。

矩阵的逆

可逆矩阵(invertible)

$A\in F^{m\times n}, \exists B\in F^{n\times m}$,使得$AB=I$,并且$BA=I$，叫做A 可逆，B是A的 逆(inverse)

TH

1. 逆矩阵唯一
2. 如果A可逆，那么A各列线性无关
3. 如果A可逆，那么A是方阵，且$\mid A\mid\neq 0$
4. $(A^{-1})^{-1} =A$,逆矩阵一定可逆
5. $(AB)^{-1}=A^{-1}B^{-1}$
6. $(\lambda A)^{-1}=\lambda^{-1} A^{-1}$

矩阵的初等变换

矩阵做初等行变换，相当于左乘一相应的 初等方阵
矩阵做初等列变换，相当于右乘一个相应的初等方阵。

TH

1. 对任意矩阵$A_{m\times n}$，都可以通过有限次 初等行变换 和 初等裂变换 ，变成\(\left ( \begin{array}{ccc} I_r &O\\O&O\end{array}\right)\)，其中$r=rank A$
2. 对任意矩阵$A_{m\times n}$，存在有限个初等方阵，使得 \(P_s...P_2P_1 A Q_1Q_2...Qt=\left ( \begin{array}{ccc} I_r &O\\O&O\end{array}\right)\)
3. 对任意矩阵$A_{m\times n}$，存在可逆阵$P,Q$,使得\(PAQ=\left ( \begin{array}{ccc} I_r &O\\O&O\end{array}\right)\)
4. 可逆方阵可以经过有限次初等 行 变换，变成单位矩阵。（注意，只做行变换就可以$A=P_1^{-1}P_2^{-1}…P_s^{-1}Q_t^{-1}…Q_2^{-1}Q_1^{-1}$）

秩

矩阵的行秩等于列秩
$rank AB \leq rank A$

等价（equivalent）

如果A可以通过一系列的初等行变换和初等列变换变成B，那么称为A,B 等价

TH

1. A，B等价$\Leftrightarrow$存在可逆方阵P，Q，使得$B=PAQ$
2. 等价有 反身性，对称性，传递性
3. A,B等价，那么A，B的秩相等

矩阵的更多概念

奇异值分解

如果一个矩阵是实对称矩阵，那么一定可以进行特征分解 $A=Q\Lambda Q^T$（其中，$Q$是特征向量组成的正交矩阵，$\Lambda$是特征值组成的对角矩阵）

不是所有的矩阵都可以做特征分解，但每个矩阵都可以做奇异值分解（singlar value decomposition）
$A_{m\times n}=U_{m\times m}D_{m\times n}V_{n\times n}^T$（其中,U,V是正交矩阵，D是对角矩阵）
实际上，U,V,D与$A^TA,AA^T$的特征值特征向量有关系。

伪逆

定义伪逆为 $A^+=\lim\limits_{\alpha \to 0} (A^TA+\alpha I)^{-1} A^T$

计算时，借用这个公式$A^+=VD^+U^T$（其中，$D^+$是D对角线非0元素取倒数，然后转置得到）

另外

• 当A列多于行时，有多个伪逆，但$A^+$是$x=A^+y$方程所有可行解中，$\mid\mid x\mid\mid_2$最小的一个
• 当A行多于列时，可能误解，这种情况下，伪逆得到的x是使$\mid\mid Ax-y\mid\mid_2$最小的

迹

定义$Tr(A)=\sum_i A_{ii}$
可以拿来描述 Frobenius 范数 $\mid\mid A\mid\mid_F=\sqrt{Tr(AA^T)}$

性质：

• $Tr(ABC)=Tr(CAB)=Tr(BCA)$

参考文献

李尚志《线性代数》