机器学习数学基础 120 章

矩阵的秩、行空间、列空间与零空间

层级：B｜按需

1. 秩衡量“有效独立方向”

矩阵形状告诉你最多能容纳多少信息，秩告诉你实际保留了多少独立线性方向。重复特征、退化协方差、低秩数据、参数不可辨识和降维都可以用秩统一理解。

2. 四个基本子空间

对 A∈Rm×nA\in\mathbb R^{m\times n}：

列空间

Col⁡(A)={Ax:x∈Rn}⊆Rm.\operatorname{Col}(A)=\{Ax:x\in\mathbb R^n\}\subseteq\mathbb R^m.

它由 AA 的列生成，是线性变换所有可能输出。

零空间

Null⁡(A)={x∈Rn:Ax=0}.\operatorname{Null}(A)=\{x\in\mathbb R^n:Ax=0\}.

其中的方向被 AA 完全压缩掉。若零空间含非零向量，变换不是一一映射。

行空间

AA 的行向量生成的子空间，等价于 Col⁡(AT)⊆Rn\operatorname{Col}(A^T)\subseteq\mathbb R^n。

左零空间

Null⁡(AT)⊆Rm.\operatorname{Null}(A^T)\subseteq\mathbb R^m.

它由所有与 AA 每一列正交的向量组成。

3. 秩的等价定义

矩阵秩可定义为：

  • 最大线性无关列数；
  • 最大线性无关行数；
  • 列空间维数；
  • 行空间维数；
  • 行阶梯形中主元个数；
  • 非零奇异值个数。

行秩等于列秩是重要定理，因此统一写作

rank⁡(A)=r.\operatorname{rank}(A)=r.

必有 r≤min⁡(m,n)r\le\min(m,n)。

4. 满秩

若 r=min⁡(m,n)r=\min(m,n)，称 AA 满秩。

  • m≥nm\ge n 且 r=nr=n：满列秩，列线性无关，Ax=0Ax=0 只有零解；
  • m≤nm\le n 且 r=mr=m：满行秩，列空间覆盖整个 Rm\mathbb R^m；
  • 方阵满秩：既满行秩又满列秩，可逆。

“满秩”必须结合形状解释。宽矩阵即使满行秩，也不可能列线性无关。

5. 秩—零化度定理

对 A∈Rm×nA\in\mathbb R^{m\times n}：

rank⁡(A)+nullity⁡(A)=n.\operatorname{rank}(A)+\operatorname{nullity}(A)=n.

其中零化度是零空间维数。输入空间的 nn 个维度，被分成行空间中的可检测方向和零空间中的丢失方向。

例如 AA 为 3×53\times5、秩为 3，则零空间维数为 2。任何输出若可达，至少可能对应一个二维仿射解族。

6. 正交关系

四个基本子空间成对正交：

Null⁡(A)=Row⁡(A)⊥,\operatorname{Null}(A) =\operatorname{Row}(A)^\perp, Null⁡(AT)=Col⁡(A)⊥.\operatorname{Null}(A^T) =\operatorname{Col}(A)^\perp.

如果 x∈Null⁡(A)x\in\operatorname{Null}(A)，则 AA 每一行与 xx 内积为零，因此 xx 与整个行空间正交。

最小二乘残差 r=y−Xw^r=y-X\hat w 位于 Null⁡(XT)\operatorname{Null}(X^T)，故与 XX 的列空间正交：

XTr=0.X^Tr=0.

7. 行变换与主元列

初等行变换不改变矩阵秩，也不改变原矩阵各列之间的线性关系，但会改变具体列空间。通过行阶梯形找出主元位置后，应从原矩阵中取对应主元列作为列空间的一组基，而不是取阶梯形的列。

阶梯形的非零行则可以作为原矩阵行空间的一组基，因为行变换保留行空间。

8. 秩的运算性质

常用结论：

rank⁡(AT)=rank⁡(A),\operatorname{rank}(A^T)=\operatorname{rank}(A), rank⁡(AB)≤min⁡(rank⁡(A),rank⁡(B)),\operatorname{rank}(AB) \le\min(\operatorname{rank}(A),\operatorname{rank}(B)), rank⁡(A+B)≤rank⁡(A)+rank⁡(B).\operatorname{rank}(A+B) \le\operatorname{rank}(A)+\operatorname{rank}(B).

外积 uvTuv^T 在 u,vu,v 都非零时秩为 1。任何秩 rr 矩阵可以表示为 rr 个秩一矩阵之和，SVD 给出特别重要的一种表示。

9. 数值秩

浮点数据中奇异值很少精确为零。实践中选择阈值，把远小于最大奇异值与机器精度的值视为零，得到数值秩。阈值选择依赖噪声、尺度与用途。

例如奇异值为 (100,10,10−12)(100,10,10^{-12})，理论秩可能是 3，但双精度与数据噪声下常视为有效秩 2。应报告阈值或使用库的稳健默认值。

10. 机器学习中的作用

  • 设计矩阵不满列秩：最小二乘参数不唯一；
  • 协方差矩阵低秩：某些特征方向没有变异，无法普通求逆；
  • PCA：用前 kk 个奇异方向构造秩 kk 近似；
  • 矩阵补全：假设评分矩阵近似低秩；
  • 深度网络：低秩分解可压缩权重；
  • 核矩阵：有效秩影响模型容量与计算。

易错点

  1. 秩不等于非零元素个数。
  2. 对角元素非零不自动保证非对角矩阵满秩。
  3. 行变换后要从原矩阵选主元列作为列空间基。
  4. 理论秩与数值有效秩可能不同。
  5. 低秩不等于小矩阵；巨大矩阵也可能低秩。

常见问答

Q1：样本数少于特征数时，设计矩阵一定不满列秩吗？

是。X∈Rn×dX\in\mathbb R^{n\times d} 且 n<dn<d 时，秩最多为 n<dn<d，因此列一定相关。

Q2：加入正则化为什么能解奇异问题？

例如 XTX+λIX^TX+\lambda I 在 λ>0\lambda>0 时通常正定可逆，相当于抬高所有特征方向的特征值，但也引入偏差。

Q3：低秩总是好事吗？

不一定。它可能表示可压缩结构，也可能是数据不足、重复特征或信息丢失。要结合业务解释。

练习

  1. AA 为 4×74\times7、秩为 3，零空间维数是多少？
  2. AA 的列空间位于哪个空间？行空间呢？
  3. 证明 AxAx 总在 AA 的列空间中。
  4. 若 u,vu,v 非零，解释 uvTuv^T 为什么秩为 1。
  5. 数据矩阵 XX 有 50 个样本、100 个特征，它的最大秩是多少？

答案与提示

  1. 7−3=47-3=4。
  2. 分别位于 R4\mathbb R^4 与 R7\mathbb R^7。
  3. AxAx 就是列向量按 xjx_j 加权的线性组合。
  4. 每一列都是 uu 的标量倍数，列空间由 uu 生成。
  5. 50。