机器学习数学基础 120 章

d-分离与条件独立

层级:C|建议先修:05-05、08-02

d-分离是一套只看 DAG 结构就判断条件独立关系的规则。它把“路径是否传递统计关联”转化为图上的阻断问题。

1. 先复习条件独立

随机变量 X,YX,Y 在给定 ZZ 后条件独立,记为

XYZ,X\perp Y\mid Z,

其含义是

p(x,yz)=p(xz)p(yz)p(x,y\mid z)=p(x\mid z)p(y\mid z)

或等价地 p(xy,z)=p(xz)p(x\mid y,z)=p(x\mid z)。知道 ZZ 后,YY 不再给 XX 提供额外信息。

2. 无视方向寻找路径

判断 d-分离时,首先在 DAG 的骨架上寻找两组节点之间的所有路径。然后根据路径上的局部箭头结构和已观测集合 ZZ,判断每条路径是否被阻断。

只有所有路径都被阻断,才称两组节点被 ZZ d-分离。

3. 链结构

XMYXMY.X\to M\to Y \quad\text{或}\quad X\leftarrow M\leftarrow Y.

不观测 MM 时路径开放,X,YX,Y 可能相关;给定 MM 后路径被阻断:

XYM.X\perp Y\mid M.

直觉是 MM 已经传递了上游对下游的全部影响。

4. 分叉结构

XMY.X\leftarrow M\to Y.

MM 是共同原因。不观测 MMX,YX,Y 可能相关;给定 MM 后路径被阻断。例子:天气同时影响冰淇淋销量和游泳人数。

5. 对撞结构

XMY.X\to M\leftarrow Y.

MM 是对撞点。规则与前两者相反:

  • 不观测 MM 及其任何后代时,路径被阻断;
  • 观测 MMMM 的后代时,路径被打开。

例子:能力和运气都可能导致录用。若只看已录用者,能力较低者往往需要更好运气,二者在条件化后产生关联。这称为解释消除或选择偏差。

6. 一般路径的开放条件

给定观测集合 ZZ,一条路径是开放的,当且仅当:

  1. 路径上的每个非对撞节点都不在 ZZ 中;
  2. 路径上的每个对撞节点本身或其至少一个后代在 ZZ 中。

若不满足,路径被阻断。集合 X,YX,YZZ d-分离,记为

XGYZ.X\perp_GY\mid Z.

7. 图分离与概率独立的关系

若分布 pp 对 DAG GG 满足 Markov 性质,则

XGYZXpYZ.X\perp_GY\mid Z \quad\Longrightarrow\quad X\perp_pY\mid Z.

这是可靠性(soundness)。反过来,某个具体参数分布可能因参数巧合产生图中没有编码的额外独立。若分布与图忠实(faithful),概率独立关系才与 d-分离完全对应。

8. Bayes-ball 直觉

大型图中逐条枚举路径代价很高。Bayes-ball 算法根据球从父方向或子方向到达节点、节点是否被观测,决定继续向哪些方向传播,从而高效判断 d-连通。

核心仍是:观测非对撞点会挡球;未观测对撞点通常挡球,但观测对撞点或其后代会改变传播规则。

9. Markov blanket

Bayesian 网络中节点 XX 的 Markov blanket 由以下节点组成:

  • XX 的父节点;
  • XX 的子节点;
  • XX 子节点的其他父节点。

给定 Markov blanket 后,XX 与网络其余节点条件独立。这使局部推断、Gibbs 采样和特征筛选成为可能。

10. 条件化与干预不同

观察 X=xX=x 是条件概率 p(yx)p(y\mid x);干预 do(X=x)do(X=x) 则切断指向 XX 的入边,再考察系统。d-分离可扩展到干预后的图,但普通条件化不能自动解释为因果效应。

11. 易错点

  1. 判断路径时要区分对撞点,不能只看“观测中间变量就阻断”。
  2. 观测对撞点的后代也可能打开路径。
  3. d-分离给出图所蕴含的独立,不保证数据中能精确检验出来。
  4. 条件独立不具有普通代数式的任意“消去”性质。

常见问答

Q1:为什么观察共同结果会让两个原因相关?
结果固定后,一个原因不足就需要另一个原因补偿;条件化限制了可行组合,从而产生依赖。

Q2:路径上有多个对撞点怎么办?
每个对撞点都必须被自身或后代的观测激活,同时所有非对撞点都不能被观测,整条路径才开放。

Q3:没有边是否意味着条件独立?
不直接意味着。需找出两点之间所有路径,并给出使它们全部阻断的条件集合。

Q4:d-分离能证明因果关系吗?
不能单独证明。它在给定因果 DAG 时帮助推导观察或干预分布中的独立关系,但图本身仍需领域知识或可识别假设支持。

练习

  1. XMYX\to M\to Y 中,分别判断空条件集和给定 MM 时路径是否开放。
  2. XMYX\to M\leftarrow Y 中,分别判断不观测、观测 MM、观测 MM 的子节点时的关系。
  3. 画出节点 XX 的父、子和子节点的其他父节点,并说明为何它们构成 Markov blanket。
  4. 给出一个条件化导致选择偏差的现实例子。

答案与提示

  1. 空条件集时开放;给定 MM 后阻断。
  2. 不观测时阻断;后两种情况都可能打开路径。
  3. 检查从 XX 通向其他节点的路径:给定这三类节点后,所有路径均在相邻处被阻断。
  4. 例如只研究住院患者时,两个本来独立的致病因素可能因“住院”这一共同结果被条件化而出现负相关。