机器学习数学基础 120 章

对称矩阵、正定矩阵与二次型

层级：B｜按需

1. 这组概念为何贯穿机器学习

协方差矩阵、核矩阵、Hessian、Gram 矩阵和正则化矩阵通常对称且半正定。它们通过二次型 xTAxx^TAx 测量方向上的能量、方差或曲率。正定性决定距离是否合法、优化问题是否凸、矩阵是否可逆。

2. 对称矩阵

方阵 AA 若

AT=A,A^T=A,

则为对称矩阵，即 aij=ajia_{ij}=a_{ji}。例如

[2−1−13].\begin{bmatrix}2&-1\\-1&3\end{bmatrix}.

实对称矩阵可正交对角化：

A=QΛQT,A=Q\Lambda Q^T,

QQ 列为标准正交特征向量，Λ\Lambda 为实特征值对角矩阵。

任意方阵可分为对称与反对称部分：

A=A+AT2+A−AT2.A=\frac{A+A^T}{2}+\frac{A-A^T}{2}.

二次型只依赖对称部分，因为 xT(A−AT)x=0x^T(A-A^T)x=0。

3. 二次型

q(x)=xTAxq(x)=x^TAx

称为二次型。二维展开：

[x1x2][abbc][x1x2]=ax12+2bx1x2+cx22.\begin{bmatrix}x_1&x_2\end{bmatrix} \begin{bmatrix}a&b\\b&c\end{bmatrix} \begin{bmatrix}x_1\\x_2\end{bmatrix} =ax_1^2+2bx_1x_2+cx_2^2.

对称矩阵的非对角项对应变量交互。

利用谱分解，令 z=QTxz=Q^Tx：

xTAx=zTΛz=∑iλizi2.x^TAx=z^T\Lambda z=\sum_i\lambda_i z_i^2.

所以特征值决定各特征方向上的符号与曲率。

4. 正定与半正定

对实对称矩阵 AA：

  • 正定（PD），记 A≻0A\succ0：对所有非零 xx，xTAx>0x^TAx>0；
  • 半正定（PSD），记 A⪰0A\succeq0：对所有 xx，xTAx≥0x^TAx\ge0；
  • 负定/半负定：相应二次型始终负/非正；
  • 不定：二次型在不同方向可正可负。

正定矩阵一定可逆；半正定矩阵可能奇异。单位矩阵正定。投影矩阵 PSD 但若投影到真子空间则不正定，因为被丢弃方向上二次型为 0。

5. 特征值判据

实对称矩阵：

  • A≻0A\succ0 当且仅当所有特征值 >0>0；
  • A⪰0A\succeq0 当且仅当所有特征值 ≥0\ge0；
  • 不定当且仅当既有正特征值又有负特征值。

正定还有 Sylvester 判据：所有左上主子式行列式为正。实际高维判断常尝试 Cholesky 分解或检查对称特征值。

6. Gram 矩阵总是半正定

对任意矩阵 XX：

G=XTX.G=X^TX.

它对称，且对任意 vv：

vTGv=vTXTXv=∥Xv∥22≥0.v^TGv=v^TX^TXv=\|Xv\|_2^2\ge0.

所以 XTX⪰0X^TX\succeq0。它正定当且仅当 XX 满列秩。这个一行证明应熟练掌握。

7. 协方差矩阵为什么半正定

Σ=E[(X−μ)(X−μ)T].\Sigma=\mathbb E[(X-\mu)(X-\mu)^T].

对任意 vv：

vTΣv=Var⁡(vTX)≥0.v^T\Sigma v =\operatorname{Var}(v^TX)\ge0.

因此协方差矩阵对称半正定；二次型就是随机向量沿方向 vv 的方差。若某方向无任何变化，方差为零，矩阵奇异。

8. Hessian 与曲率

二次函数

f(x)=12xTAx−bTx+cf(x)=\frac12x^TAx-b^Tx+c

在 AA 对称时

∇f(x)=Ax−b,∇2f(x)=A.\nabla f(x)=Ax-b, \qquad \nabla^2f(x)=A.
  • A⪰0A\succeq0：ff 凸；
  • A≻0A\succ0：ff 严格凸，有唯一全局极小点；
  • AA 不定：存在向上和向下弯曲方向，驻点可能是鞍点。

9. Mahalanobis 距离与椭球

(x−μ)TΣ−1(x−μ)=c(x-\mu)^T\Sigma^{-1}(x-\mu)=c

描述椭球等高面。Σ\Sigma 的特征向量给椭球主轴，特征值平方根控制轴长。高斯密度在这些椭球上相等。

若矩阵只 PSD，xTMx\sqrt{x^TMx} 可能对不同点给出零“距离”，称半度量；要成为严格 Mahalanobis 距离通常需要正定。

10. 正则化如何改善正定性

若 XTXX^TX 仅半正定，加入

XTX+λI,λ>0X^TX+\lambda I, \qquad\lambda>0

会把每个特征值增加 λ\lambda，得到正定矩阵。这让岭回归解唯一并改善条件数，同时对应 L2 参数惩罚。

易错点

  1. 对称不等于正定。
  2. 正定概念通常针对对称/Hermitian 矩阵讨论。
  3. PSD 可以有零特征值，因此不一定可逆。
  4. xTAx≥0x^TAx\ge0 只检查若干样本向量不能证明对所有向量成立。
  5. 数值误差可能让理论 PSD 矩阵出现极小负特征值，应结合容差。

常见问答

Q1：核矩阵为什么必须 PSD？

合法核相当于某特征空间的内积，任意样本 Gram 矩阵都应满足 cTKc=∥∑iciϕ(xi)∥2≥0c^TKc=\|\sum_ic_i\phi(x_i)\|^2\ge0。

Q2：严格凸是否一定只有一个最小值？

在凸可行域且最小值存在时，是。正定 Hessian 是常用充分条件，但严格凸函数不必处处 Hessian 正定。

Q3：协方差为何会不可逆？

可能样本数少于维度、特征线性相关或某特征零方差，导致至少一个方向方差为零。

练习

  1. 判断 diag⁡(2,0)\operatorname{diag}(2,0) 是正定还是半正定。
  2. 判断 diag⁡(2,−1)\operatorname{diag}(2,-1) 的二次型性质。
  3. 证明 AATAA^T 半正定。
  4. 若对称矩阵特征值为 1,3,51,3,5，它是否正定、是否可逆？
  5. 解释向 AA 加 λI\lambda I 如何改变特征值。

答案与提示

  1. 半正定但非正定。
  2. 不定。
  3. xTAATx=∥ATx∥2≥0x^TAA^Tx=\|A^Tx\|^2\ge0。
  4. 正定且可逆。
  5. 特征向量不变，每个特征值增加 λ\lambda。