机器学习数学基础 120 章

Poisson 与几何分布

层级:B|按需

1. 一个描述计数,一个描述等待

Poisson 分布描述固定时间/空间窗口内事件次数;Geometric 分布描述独立 Bernoulli 试验直到首次成功的等待次数。请求到达、故障数、点击次数和重试次数常从这两个模型开始。

2. Poisson 分布

NPoisson(λ),quadλ>0,N\sim\operatorname{Poisson}(\lambda),quad\lambda>0, P(N=k)=eλλkk!,k=0,1,2,P(N=k)=e^{-\lambda}\frac{\lambda^k}{k!}, \qquad k=0,1,2,\ldots E[N]=λ,Var(N)=λ.E[N]=\lambda, \qquad Var(N)=\lambda.

参数同时是均值与方差,是强假设。

3. Poisson 过程直觉

若事件:

  • 在不相交小区间近似独立;
  • 发生率稳定;
  • 极小区间发生两次以上概率可忽略;

则长度 tt 窗口计数可为 Poisson(rtrt)。更严格地,Poisson 过程具有独立平稳增量。

真实流量有日周期、突发和用户相关时,常出现过度离散,不应盲用常率 Poisson。

4. 可加性与稀释

独立

N1Poisson(λ1),N2Poisson(λ2)N_1\sim Poisson(\lambda_1), \quad N_2\sim Poisson(\lambda_2)

N1+N2Poisson(λ1+λ2).N_1+N_2\sim Poisson(\lambda_1+\lambda_2).

若每个事件独立以概率 pp 保留,保留数为 Poisson(pλp\lambda),丢弃数为 Poisson((1p)λ)((1-p)\lambda),且二者独立。这叫 thinning。

5. Binomial 的稀有事件近似

nn 大、pp 小、np=λnp=\lambda 固定:

Binomial(n,p)Poisson(λ).Binomial(n,p)\approx Poisson(\lambda).

例如大量独立用户各自极小故障概率的总故障数。若个体概率差异或依赖明显,近似可能差。

6. Poisson 回归

对计数 YiY_i

YixiPoisson(λi),Y_i|x_i\sim Poisson(\lambda_i),

用 log link 保证正率:

logλi=wTxi,λi=ewTxi.\log\lambda_i=w^Tx_i, \qquad\lambda_i=e^{w^Tx_i}.

若暴露时间 tit_i 不同:

logλi=wTxi+logti,\log\lambda_i=w^Tx_i+\log t_i,

logti\log t_i 是 offset,系数固定为 1。

7. 过度离散与零膨胀

若样本方差远大于均值:

  • 未建模异质性;
  • 事件聚集/相关;
  • 负二项分布更合适;
  • 随机率混合(Gamma-Poisson);
  • 零膨胀模型区分结构性零与计数零。

若方差小于均值则欠离散,也需其他模型。

8. Geometric 分布的两种约定

独立 Bernoulli 成功率 pp

直到首次成功的试验次数

支持 k=1,2,k=1,2,\ldots

P(T=k)=(1p)k1p,P(T=k)=(1-p)^{k-1}p, E[T]=1/p,Var(T)=(1p)/p2.E[T]=1/p, \qquad Var(T)=(1-p)/p^2.

首次成功前的失败次数

支持 k=0,1,ldotsk=0,1,ldots

P(F=k)=(1p)kp,P(F=k)=(1-p)^kp, E[F]=(1p)/p.E[F]=(1-p)/p.

库函数采用哪种约定必须确认。

9. 无记忆性

Geometric 满足:

P(T>s+tT>s)=P(T>t).P(T>s+t|T>s)=P(T>t).

已经连续失败 ss 次,不改变还要等待超过 tt 次的概率,因为每次成功率恒定且独立。

离散分布中 Geometric 是唯一具有无记忆性的分布;连续对应 Exponential。

10. Negative Binomial

等待第 rr 次成功所需试验/失败数得到负二项分布;另一个重要参数化是 Gamma-Poisson 混合,用于过度离散计数。软件对“成功次数、失败次数、均值—离散度”的参数化差异很大,必须查文档。

11. 似然估计

Poisson iid 样本的 MLE:

λ^=Nˉ.\hat\lambda=\bar N.

Geometric iid(试验次数约定)对 pp 的 MLE:

p^=1/Tˉ.\hat p=1/\bar T.

但删失、不同暴露时间和零截断会改变似然,不能只套样本均值。

易错点

  1. Poisson 强制均值等于方差。
  2. rate 必须结合时间/空间窗口单位。
  3. Geometric 有两种支持约定。
  4. 无记忆性依赖恒定独立成功率。
  5. 计数数据大量零不自动证明零膨胀,需要与 Poisson/NB 预期比较。

常见问答

Q1:请求到达一定是 Poisson 吗?

不是。真实系统有批量、重试、缓存失效、周期和共享原因,常显著相关。Poisson 是基线模型,需用均值—方差、时间聚集和残差检验。

Q2:Poisson 回归预测能是小数吗?

模型输出的是条件均值/率 λ\lambda,可为正实数;实际观测计数仍为整数随机变量。

Q3:失败很多次后成功“该来了”吗?

恒定独立 Bernoulli 下不会,这正是无记忆性。若成功率未知,可用数据更新对 pp 的后验,预测会变化,但原因是参数不确定性。

练习

  1. Poisson(33) 的零事件概率。
  2. 两个独立 Poisson(2)、Poisson(5) 的和。
  3. rate 为每小时 4,半小时计数参数是什么?
  4. 成功率 0.2,首次成功试验次数期望。
  5. 说明 Geometric 两种约定均值为何相差 1。

答案与提示

  1. e3e^{-3}
  2. Poisson(7)。
  3. λ=2\lambda=2
  4. 5。
  5. 试验次数 = 失败次数 + 1。