随机变量之和与卷积

层级：B｜按需

1. 多个随机影响如何叠加

测量值常是信号加噪声，总请求数是多个来源计数之和，模型集成是多个随机预测平均。求和分布使用卷积；均值与方差则可在更弱条件下直接计算。

2. 和的期望与方差

任意可积 $X,Y$：

方差：

独立时协方差为零。独立不是期望相加的条件，却通常是分布卷积的条件。

3. 离散卷积

独立离散 $X,Y$，$S=X+Y$：

因为事件 $X=x,Y=s-x$ 对不同 $x$ 互斥，联合概率因独立相乘，再求和。

两枚公平骰子和为 7：

4. 连续卷积

独立连续变量：

记作

若 $Y$ 是加性噪声，观察 $S=X+Y$ 的密度是信号密度与噪声密度卷积，通常更平滑、更分散。

5. 卷积性质

概率卷积与信号处理/神经网络“卷积”数学相关，但深度学习库常实现 cross-correlation（核不翻转），通过学习核通常不影响表达命名。

6. 常见闭包性质

• 独立 Binomial 且成功率相同：和仍 Binomial，试验数相加；
• 独立 Poisson：和仍 Poisson，率参数相加；
• 独立高斯：和仍高斯，均值相加、方差相加；
• 独立 Gamma 且尺度相同：和仍 Gamma，形状相加。

这类分布族对卷积封闭，使建模与推断简化。

7. 样本均值分布

若 iid：

若 $X_i$ 高斯，$\bar X$ 精确高斯；一般有限方差下，中心极限定理给大样本近似高斯。

8. 特征函数与卷积

特征函数

独立和满足

Fourier 变换把卷积变成乘法，这是证明分布和、中心极限定理及快速卷积计算的强大工具。MGF 也有类似性质，但不是所有分布的 MGF 在零附近存在；特征函数总存在。

9. 加权和

随机向量 $X$，常量 $a$：

投资组合风险、线性预测不确定性和 PCA 投影方差都使用该二次型。

10. 平均降低噪声的条件

$M$ 个估计误差方差均为 $\sigma^2$、两两相关系数 $\rho$，平均误差方差：

若独立 $\rho=0$，降为 $\sigma^2/M$；若完全相关 $\rho=1$，平均无收益。集成学习需要准确且多样的基模型。

11. 非独立和

非独立时不能用边缘密度普通卷积；必须知道联合分布：

例如 $Y=-X$ 时 $S=0$ 几乎必然，尽管单看两个边缘分布可能都很分散。

12. 数值卷积

有限离散 PMF 可直接 $O(n^2)$ 卷积，长序列可用 FFT 近 $O(n\log n)$。FFT 卷积会产生循环卷积，需零填充避免首尾绕回，并控制浮点出现的极小负概率后归一化。

易错点

1. 普通边缘卷积公式需要独立。
2. 期望相加不需要独立。
3. 方差相加需要零协方差/独立。
4. 同分布不等于独立。
5. CNN 库“卷积”常不翻转核。

常见问答

Q1：两个高斯相加为什么仍高斯？

特征函数相乘仍是高斯形式，均值与方差参数相加；也可用线性组合的多元高斯性质。

Q2：平均一定降低方差吗？

若个体同方差且相关小会降低；高度正相关收益有限，负相关可更强降低。权重与偏差也影响总误差。

Q3：去卷积为何困难？

Fourier 域要除以噪声/核变换，在其接近零的频率会猛烈放大噪声，是病态逆问题，需要正则化。

练习

1. 两个独立 Bernoulli($p$) 之和的 PMF 是什么？
2. 独立 Poisson($\lambda_1$)、Poisson($\lambda_2$) 之和分布？
3. 非独立时方差和公式是什么？
4. 写出 $a^TX$ 的方差。
5. 完全相关的多个模型平均为何不降噪？

答案与提示

1. Binomial$(2,p)$：$(1-p)^2,2p(1-p),p^2$。
2. Poisson$(\lambda_1+\lambda_2)$。
3. 方差相加再加两倍协方差。
4. $a^T\Sigma a$。
5. 它们重复相同误差，平均没有相互抵消的独立成分。