信息量与熵

层级：A｜建议先修：05-07、05-09、05-15

机器学习经常需要衡量“一个结果有多意外”以及“一个随机变量平均有多不确定”。信息论分别用自信息量和熵回答这两个问题。

1. 从“意外程度”到信息量

设事件 $A$ 的概率为 $P(A)$ 。一个合理的信息量函数应满足：

满足这些要求的经典定义是

I(A)=-\log P(A)=\log\frac{1}{P(A)}.

因为 $0<P(A)\le 1$ ，所以 $I(A)\ge 0$ 。若 $P(A)=1$ ，则 $I(A)=0$ ；概率越接近 0，信息量越大。

机器学习公式通常使用自然对数，因此默认单位常是 nat。更换底数只会把结果乘以常数，不改变模型优劣的排序。

例如，公平硬币某一面出现的概率为 $1/2$ ，它的信息量为

-\log_2(1/2)=1\text{ bit}.

设离散随机变量 $X$ 可能取 $x_1,\ldots,x_K$ ，概率为 $p_i=P(X=x_i)$ 。熵是自信息量的期望：

H(X)=\mathbb E[-\log p(X)] =-\sum_{i=1}^K p_i\log p_i.

约定 $0\log 0=0$ ，这是由极限 $\lim_{p\to0^+}p\log p=0$ 得到的。

熵衡量的是在观察 $X$ 之前，对其取值的平均不确定性，而不是某次具体观察的信息量。

若 $X\sim\operatorname{Bernoulli}(p)$ ，则

H(X)=-p\log p-(1-p)\log(1-p).

以 2 为底时，公平硬币的熵是 1 bit。

若 $X$ 只有 $K$ 个可能取值，则

0\le H(X)\le \log K.

下界在某个取值概率为 1 时达到；上界在均匀分布 $p_i=1/K$ 时达到。直觉是：越均匀，越难提前猜中，平均不确定性越大。

在满足前缀编码等条件时，熵给出了无损编码平均长度的理论下界。高概率符号可用短码，低概率符号用长码；理想码长近似为

\ell(x)\approx-\log_2 p(x).

这解释了为什么负对数概率既表示“惊讶程度”，又可以解释为“描述该结果所需的比特数”。

对密度为 $f(x)$ 的连续随机变量，定义

h(X)=-\int f(x)\log f(x)\,dx.

它称为微分熵。微分熵与离散熵并不完全相同：它可能为负，也会随变量尺度变化。例如把 $X$ 放大为 $aX$ ，有

h(aX)=h(X)+\log|a|.

因此不要把微分熵单独理解成绝对的“信息比特数”。KL 散度、互信息等由密度比构造的量更具有坐标不变性。

Q1：为什么一定要使用对数？
独立事件的联合概率相乘，而我们希望信息量相加；对数正好把乘法变成加法。

Q2：熵越大是不是数据越“乱”？
在给定取值集合上，它表示概率分布越均匀、越难预测。“乱”只是直觉说法，不等于数据没有结构。

Q3：训练时使用自然对数还是以 2 为底？
通常使用自然对数，导数更简洁。底数只引入正常数，不改变最优参数。

Q4：标签完全平衡就一定难分类吗？
不一定。标签的边缘熵高，只表示不知道特征时难猜；若特征能充分解释标签，条件熵仍可能很低。