矩阵

  1. (AB)−1=B−1A−1(AB)^{-1}=B^{-1}A^{-1}，(AB)⊤=B⊤A⊤(AB)^\top=B^\top A^\top
  2. ABAB 可逆则 A,BA,B 均可逆，则 BABA 可逆；反之若 ABAB 不可逆，则 BABA 不可逆

矩阵可逆的等价说法

  1. AA 可逆
  2. Ax⃗=0A\vec{x}=0 只有平凡解
  3. AA 的简化阶梯型为单位矩阵
  4. AA 是一组初等矩阵的乘积
  5. Ax⃗=b⃗A\vec{x}=\vec{b} 对任何 n×1n\times1 的列向量 b⃗\vec{b} 都有解（且仅有一个解）
  6. det⁡(A)≠0\det(A)\neq0
  7. AA 的所有 nn 个行向量线性无关
  8. AA 的所有 nn 个列向量线性无关
  9. span(Row(A))=Rnspan(Row(A))=\mathbb{R}^n
  10. span(Col(A))=Rnspan(Col(A))=\mathbb{R}^n
  11. AA 的所有 nn 个行向量构成 Rn\mathbb{R}^n 的一组基底
  12. AA 的所有 nn 个列向量构成 Rn\mathbb{R}^n 的一组基底
  13. rank(A)=nrank(A)=n
  14. nullity(A)=0nullity(A)=0，Null(A)={0}Null(A)=\{0\}

行列式

ai1Ck1+⋯+ainCkn={det(A),i=k0,i≠ka_{i1}C_{k1}+\cdots+a_{in}C_{kn}= \left\{ \begin{aligned} det(A),i=k\\ 0,i\ne k \end{aligned} \right.

伴随矩阵

任意 nn 阶方阵 AA，有 Aadj(A)=det⁡(A)InAadj(A)=\det(A)I_n

推论：det⁡(adj(A))=det⁡(A)n−1\det(adj(A))=\det(A)^{n-1}，A=det⁡(adj(A))1n−1adj(A)−1A=\det(adj(A))^{\frac{1}{n-1}}adj(A)^{-1}

向量例题

例题 期中模拟第二题判断：如果 Ax⃗=Bx⃗A\vec{x}=B\vec{x} 对任意 x⃗∈Rn\vec{x}\in\mathbf{R}^n 都成立，则 A=BA=B （正确）

因为对任意 x⃗\vec{x} 都成立，则考虑任意 ei⃗,i=1,…,n\vec{e_i},i=1,\dots,n，即 Rn\mathbf{R}^n 标准单位向量（列向量形式），由于 Aei⃗A\vec{e_i} 为 AA 的第 ii 列向量，因此如果题中条件成立，则对任意 ii 都有 AA 的第 ii 列与 BB 的第 ii 列相等，故 A=BA=B

正交投影

u⃗\vec{u} 在 v⃗\vec{v} 上正交投影：

projv⃗(u⃗)=u⃗⋅v⃗∣∣v⃗∣∣2v⃗proj_{\vec{v}}(\vec{u})=\frac{\vec{u}\cdot\vec{v}}{||\vec{v}||^2}\vec{v}

叉乘

仅对三维空间里的向量定义

u⃗×v⃗\vec{u}\times\vec{v} 与 u⃗\vec{u} 和 v⃗\vec{v} 正交

Lagrange’s identity: ∣∣u⃗×v⃗∣∣2=∣∣u⃗∣∣2∣∣v⃗∣∣2−(u⃗⋅v⃗)2||\vec{u}\times\vec{v}||^2=||\vec{u}||^2||\vec{v}||^2-(\vec{u}\cdot\vec{v})^2

Cauchy-Schwarz inequality: ∣u⃗⋅v⃗∣≤∣∣u⃗∣∣ ∣∣v⃗∣∣|\vec{u}\cdot\vec{v}|\leq||\vec{u}||\ ||\vec{v}||

Triangle inequality: ∣∣u⃗+v⃗∣∣≤∣∣u⃗∣∣+∣∣v⃗∣∣,d(u⃗,v⃗)≤d(u⃗,w⃗)+d(w⃗,v⃗)||\vec{u}+\vec{v}||\leq||\vec{u}||+||\vec{v}||,d(\vec{u},\vec{v})\leq d(\vec{u},\vec{w})+d(\vec{w},\vec{v})

u⃗×v⃗=−v⃗×u⃗,u⃗×u⃗=0\vec{u}\times\vec{v}=-\vec{v}\times\vec{u},\vec{u}\times\vec{u}=0

向量空间

注意：要满足有零向量、满足加法交换律结合律、有加法相反数

秩

  1. 秩-零化度定理：rank(A)+nullity(A)=nrank(A)+nullity(A)=n (AA 列数，即 Ax⃗A\vec{x} 中 x⃗\vec{x} 维数)
  2. W⊂RnW\subset\mathbb{R}^n 为一个子空间，则 dim⁡(W)+dim⁡(W⊥)=n\dim(W)+\dim(W^\perp)=n
  3. A∈Mm×n,B∈Mn×kA\in M_{m\times n},B\in M_{n\times k}，且 AB=0m×kAB=0_{m\times k}，则 Col(B)⊂Null(A),rank(B)≤nullity(A)Col(B)\subset Null(A), rank(B)\le nullity(A)
  4. A∈Mm×n,B∈Mn×kA\in M_{m\times n},B\in M_{n\times k}，必然有 rank(AB)≤rank(A)rank(AB)\le rank(A)，rank(A+B)≤rank(A)+rank(B)rank(A+B)\le rank(A)+rank(B)
  5. A∈Mm×nA\in M_{m\times n}，都有 rank(A⊤A)=rank(A)rank(A^\top A)=rank(A)，Null(A)⊂Null(ATA)Null(A)\subset Null(A^TA)，R(ATA)⊂R(A)R(A^TA)\subset R(A)

矩阵变换

  1. 单射 (one-to-one/injective)，满射 (surjective/be onto)，双射 (bijection)
  2. T:Rn→Rm,[T]∈Mm×nT:\mathbb{R}^n\rightarrow\mathbb{R}^m,[T]\in M_{m\times n}，则 Ker(T)=Null([T])Ker(T)=Null([T])，RAN(T)=Col([T])RAN(T)=Col([T])
  3. TT 单射，当且仅当 Ker(T)=Null([T])={0}Ker(T)=Null([T])=\{0\}，即 nullity([T])=0nullity([T])=0 (若 n>mn>m 则不可能单射)
  4. TT 满射，当且仅当 RAN(T)=Col([T])=RmRAN(T)=Col([T])=\mathbb{R}^m，即 rank([T])=mrank([T])=m (若 n<mn<m 则不可能满射)
  5. m=nm=n 时，TT 双射当且仅当 [T][T] 可逆；若 TT 单射或满射，则必双射

线性变换

  1. T:V→WT:V\rightarrow W 为线性变换，则 dim⁡(Ker(T))=nullity(T),dim⁡(RAN(T))=rank(T)\dim(Ker(T))=nullity(T),\dim(RAN(T))=rank(T)
  2. rank(T)+nullity(T)=dim⁡(V)rank(T)+nullity(T)=\dim(V)
  3. 一个双射的线性变换 T:V→WT:V\rightarrow W 是一个同构 (Isomorphism)，VV 与 WW 是同构的 (V is isomorphic to W)
  4. 任何 nn 维的向量空间 VV 都与欧氏空间 Rn\mathbb{R}^n 同构
  5. 若一个线性变换存在逆变换，则必为同构

相似矩阵

  1. 两个方阵相似，即 B=P−1APB=P^{-1}AP
  2. [T]B′,B′=(PB←B′)−1[T]B,BPB←B′[T]_{B',B'}=(P_{B\leftarrow B'})^{-1}[T]_{B,B}P_{B\leftarrow B'} (补充：PB′←B=(B′)−1BP_{B'\leftarrow B}=(B')^{-1}B)
  3. 相似矩阵行列式、秩、零化度、迹 (trace) 、特征值、特征多项式、特征空间维数相等，为相似不变量

特征值与特征向量

  1. AA 为 nn 阶方阵，存在非零向量 x⃗∈Rn\vec{x}\in\mathbb{R}^n，且 Ax⃗=λx⃗A\vec{x}=\lambda\vec{x}，则 λ\lambda 为特征值，x⃗\vec{x} 为对应的特征向量

  2. λ\lambda 为 AA 特征值时，λIn−A\lambda I_n-A 不可逆，且：

    ∃x⃗∈Rn,x⃗≠0,Ax⃗=λx⃗⇔∃x⃗∈Rn,x⃗≠0,(λIn−A)x⃗=0⇔Ker(λIn−A)≠{0}⇔det⁡(λIn−A)=0\begin{aligned} \exist\vec{x}\in\mathbb{R}^n,\vec{x}\ne0,A\vec{x}=\lambda\vec{x} &\Leftrightarrow\exist\vec{x}\in\mathbb{R}^n,\vec{x}\ne0,(\lambda I_n-A)\vec{x}=0\\ &\Leftrightarrow Ker(\lambda I_n-A)\ne\{0\}\\ &\Leftrightarrow\det(\lambda I_n-A)=0 \end{aligned}

  3. p(λ)=det⁡(λIn−A)=λn−tr(A)λn−1+c2λn−2+⋯+cn−1λ+(−1)ndet⁡(A)p(\lambda)=\det(\lambda I_n-A)=\lambda^n-tr(A)\lambda^{n-1}+c_2\lambda^{n-2}+\cdots+c_{n-1}\lambda+(-1)^n\det(A)

  4. 上/下三角矩阵的特征值为对角线上元素

  5. AA 可逆当且仅当 λ=0\lambda=0 不是 AA 的特征值

  6. f(x)=a0+a1x+⋯+amxmf(x)=a_0+a_1x+\cdots+a_mx^m，则 x⃗\vec{x} 为 f(A)f(A) 关于 f(λ)f(\lambda) 的特征向量

  7. Vλ=Null(λIn−A)V_{\lambda}=Null(\lambda I_n-A) 为特征空间，有 Vλ1∩Vλ2={0}V_{\lambda_1}\cap V_{\lambda_2}=\{0\}，则 dim⁡(Vλ1+Vλ2)=dim⁡(Vλ1)+dim⁡(Vλ2)\dim(V_{\lambda_1}+V_{\lambda_2})=\dim(V_{\lambda_1})+\dim(V_{\lambda_2})

  8. 若 z∈Cz\in\mathbb{C} 是 AA 的特征值，则其共轭也是 AA 的特征值

  9. 若 nn 为奇数，则对于任何实数矩阵，必然都有至少一个实数特征值

对角化

  1. 若 A∈Mn×nA\in M_{n\times n} 有 nn 个不同的特征值，则可对角化；若所有特征值的几何重数都等于代数重数，则可对角化
  2. 对于 AA 任意特征值，它的几何重数（特征空间维数）都小于等于它的代数重数

正交对角化

  1. 正交矩阵：ATA=AAT=InA^TA=AA^T=I_n，即 A−1=ATA^{-1}=A^T
  2. 正交规范/标准集合：集合内向量两两正交，且 ∣∣vi⃗∣∣=1||\vec{v_i}||=1
  3. AA 为正交矩阵，其 nn 个行/列向量构成 Rn\mathbb{R}^n 的标准正交基底
  4. AA 为正交矩阵，当且仅当 ∣∣Ax⃗∣∣=∣∣x⃗∣∣||A\vec{x}||=||\vec{x}||，当且仅当 Ax⃗⋅Ay⃗=x⃗⋅y⃗A\vec{x}\cdot A\vec{y}=\vec{x}\cdot\vec{y}
  5. AA 为正交矩阵，则 AA 可逆且 A−1A^{-1} 也为正交矩阵；若 BB 也为正交矩阵，则 ABAB 为正交矩阵
  6. AA 为正交矩阵，则 det⁡(A)=1\det(A)=1 或 det⁡(A)=−1\det(A)=-1，且 λ=1\lambda=1 或 λ=−1\lambda=-1
  7. 若 SS 和 S′S' 均为标准正交基底，则 PS′←SP_{S'\leftarrow S} 和 PS←S′P_{S\leftarrow S'} 均为正交矩阵
  8. AA 可正交对角化当且仅当 AA 为对称矩阵（AA 的所有特征值均为实数）

最小二乘法

若求解形如 Ax⃗=b⃗A\vec{x}=\vec{b} 最小值问题，则求解 (ATA)x⃗=ATb⃗(A^TA)\vec{x}=A^T\vec{b}