机器学习数学基础 120 章

协方差与相关系数

层级：A｜必学

1. 两个变量是否一起变化

方差看单变量波动，协方差看两个变量偏离各自均值时是否同向。相关系数把协方差标准化到无单位范围。它们只捕捉线性共同变化，不等同独立或因果。

2. 协方差定义

Cov⁡(X,Y)=E[(X−E[X])(Y−E[Y])].\operatorname{Cov}(X,Y) =E[(X-E[X])(Y-E[Y])].

展开：

Cov⁡(X,Y)=E[XY]−E[X]E[Y].\operatorname{Cov}(X,Y) =E[XY]-E[X]E[Y].
  • 正：常同向偏离均值；
  • 负：常反向偏离；
  • 0：无线性共同变化，但可能强非线性依赖。
Cov⁡(X,X)=Var⁡(X).\operatorname{Cov}(X,X)=\operatorname{Var}(X).

3. 尺度性质

Cov⁡(aX+b,cY+d)=acCov⁡(X,Y).\operatorname{Cov}(aX+b,cY+d) =ac\operatorname{Cov}(X,Y).

平移不影响协方差，缩放会改变数值和单位。若温度从摄氏换华氏，协方差随尺度变，因此跨变量难直接比较。

4. 相关系数

若 σX,σY>0\sigma_X,\sigma_Y>0：

ρXY=Cov⁡(X,Y)σXσY.\rho_{XY} =\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}.

Cauchy–Schwarz 保证

−1≤ρ≤1.-1\le\rho\le1.

ρ=1\rho=1 或 −1-1（有限方差且非退化）表示几乎确定的正/负线性关系。ρ=0\rho=0 只表示不相关。

5. 独立与不相关

若独立且二阶矩存在：

E[XY]=E[X]E[Y]⇒Cov(X,Y)=0.E[XY]=E[X]E[Y] \Rightarrow Cov(X,Y)=0.

反例：XX 关于 0 对称，Y=X2Y=X^2：

Cov(X,Y)=E[X3]−E[X]E[X2]=0,Cov(X,Y)=E[X^3]-E[X]E[X^2]=0,

但 YY 完全由 XX 决定。

联合高斯是重要例外：零协方差等价于独立。

6. 协方差矩阵

随机向量 X∈RdX\in\mathbb R^d，均值 μ\mu：

Σ=E[(X−μ)(X−μ)T].\Sigma=E[(X-\mu)(X-\mu)^T].

Σij=Cov(Xi,Xj)\Sigma_{ij}=Cov(X_i,X_j)，对角是方差。它对称半正定：

aTΣa=Var(aTX)≥0.a^T\Sigma a=Var(a^TX)\ge0.

线性变换 Y=AX+bY=AX+b：

E[Y]=Aμ+b,E[Y]=A\mu+b, Cov(Y)=AΣAT.Cov(Y)=A\Sigma A^T.

7. 样本协方差

S=1n−1∑i=1n(xi−xˉ)(xi−xˉ)T.S=\frac1{n-1} \sum_{i=1}^{n}(x_i-\bar x)(x_i-\bar x)^T.

若中心化数据矩阵 XcX_c 每行一个样本：

S=1n−1XcTXc.S=\frac1{n-1}X_c^TX_c.

因此 SS PSD，秩最多 min⁡(d,n−1)\min(d,n-1)。当 d≥nd\ge n，样本协方差必奇异。

8. Pearson、Spearman 与 Kendall

  • Pearson：标准化线性协方差，关注线性关系；
  • Spearman：对秩做 Pearson，关注单调关系、对离群更稳健；
  • Kendall tau：基于样本对的一致/不一致排序。

非线性非单调关系三者都可能接近 0。散点图与领域知识仍重要。

9. 偏相关与混杂

两个变量的相关可能由第三变量驱动。偏相关尝试在线性意义下控制其他变量后测量剩余关系，例如先分别回归掉 ZZ，再相关残差。

偏相关仍不是因果保证；测量误差、未观测混杂、非线性和 collider 条件化都可能误导。

10. 多重共线性

特征间高度线性相关使 XTXX^TX 条件差，回归系数不稳定、标准误增大。预测可能仍好，但单个系数解释困难。处理：

  • 收集更多独立信息；
  • 删除/合并特征；
  • PCA；
  • 岭/Elastic Net；
  • 依据业务而非只看相关阈值。

11. 相关不等于因果

可能原因：

  • X→YX\to Y；
  • Y→XY\to X；
  • 共同原因 ZZ；
  • 选择偏差；
  • 时间趋势；
  • 巧合/多重检验。

因果推断需要干预或明确结构假设，不靠一个相关系数解决。

12. 相关矩阵的数值检查

应对称、对角为 1（非零方差变量）、PSD。成对删除缺失值可能让每个相关系数用不同样本，拼出的矩阵不再 PSD，影响分解。需要一致缺失处理或最近相关矩阵修正。

易错点

  1. 零相关不等于独立。
  2. 高相关不等于因果，也不说明斜率为 1。
  3. 协方差有单位，相关系数无单位。
  4. 相关只衡量特定关系，Pearson 主要线性。
  5. 标准化不等于让特征独立，只让边缘均值/方差改变。

常见问答

Q1：相关系数 0.8 是否一定“强”？

没有脱离领域的统一阈值。样本量、测量误差、分布、非线性和决策成本都影响解释。

Q2：两个 one-hot 列为何负相关？

互斥类别中一个为 1 会迫使另一个为 0；完整 one-hot 列还与截距线性相关。

Q3：协方差矩阵为何常加 shrinkage？

高维小样本下样本协方差噪声大或奇异，向对角/单位矩阵收缩可改善估计与求逆稳定性。

练习

  1. 证明 Cov(X,X)=Var(X)Cov(X,X)=Var(X)。
  2. 若 Cov(X,Y)=2Cov(X,Y)=2，求 Cov(3X+1,−2Y+5)Cov(3X+1,-2Y+5)。
  3. 独立是否推出零相关？反向呢？
  4. n=20,d=50n=20,d=50 时样本协方差最大秩是多少？
  5. 为什么 Pearson 可能漏掉 U 形关系？

答案与提示

  1. 直接代定义。
  2. 3(−2)2=−123(-2)2=-12。
  3. 有限二阶矩下推出；反向一般不成立。
  4. n−1=19n-1=19。
  5. 正负线性趋势在两侧抵消，尽管存在确定非线性依赖。