机器学习数学基础 120 章

凸函数、凹函数与 Jensen 不等式

层级：B｜按需

1. 凸性带来全局保证

一般非凸函数可能有许多局部极小与鞍点；凸函数的局部极小就是全局极小，目标与可行域都凸时优化结构清晰。线性回归、逻辑回归（适当形式）、SVM 和许多正则化问题都是凸优化。

2. 凸集合

集合 CC 为凸集，如果任意 x,y∈Cx,y\in C 和 t∈[0,1]t\in[0,1]：

tx+(1−t)y∈C.tx+(1-t)y\in C.

即集合中任意两点的连线都留在集合内。Euclidean 球、半空间、仿射子空间、概率单纯形都是凸集；圆环、两个分离区域的并集通常不是。

多个凸集的交集仍凸，并集不一定凸。

3. 凸函数定义

定义在凸集 CC 上的函数 ff 为凸函数，如果

f(tx+(1−t)y)≤tf(x)+(1−t)f(y)f(tx+(1-t)y) \le tf(x)+(1-t)f(y)

对所有 x,y∈C,t∈[0,1]x,y\in C,t\in[0,1] 成立。

几何上，函数图像位于任意两点连线（弦）的下方。凹函数不等号反向；ff 凹当且仅当 −f-f 凸。

严格凸把不同点和 t∈(0,1)t\in(0,1) 的不等号改为严格小于。

4. 一阶判据

可微函数 ff 凸，当且仅当对所有 x,yx,y：

f(y)≥f(x)+∇f(x)T(y−x).f(y)\ge f(x)+\nabla f(x)^T(y-x).

即任一点切平面都是全局下界。这使梯度不仅是局部斜率，也给出全局支持超平面。

由此若 ∇f(x∗)=0\nabla f(x^*)=0：

f(y)≥f(x∗)f(y)\ge f(x^*)

对所有 yy，所以 x∗x^* 是全局最优。

5. 二阶判据

二阶可微函数在凸域上凸，当且仅当

∇2f(x)⪰0\nabla^2f(x)\succeq0

处处成立。一元即 f′′(x)≥0f''(x)\ge0。

例：

  • x2x^2 凸；
  • exe^x 凸；
  • −log⁡x-\log x 在 x>0x>0 凸；
  • log⁡x\log x 在 x>0x>0 凹；
  • 仿射函数既凸又凹。

6. 凸函数的运算规则

  • 非负加权和保持凸性；
  • 凸函数与仿射函数复合 f(Ax+b)f(Ax+b) 保持凸；
  • 一组凸函数的逐点最大值凸；
  • 凸函数的逐点最小值一般不凸；
  • 若 gg 凸且非递减，g∘fg\circ f 在适当条件下凸。

这些规则可快速识别机器学习目标，无需每次计算 Hessian。

7. Jensen 不等式

若 ff 凸、XX 是随机变量：

f(E[X])≤E[f(X)].f(\mathbb E[X])\le\mathbb E[f(X)].

离散加权形式：若 wi≥0,∑iwi=1w_i\ge0,\sum_iw_i=1：

f(∑iwixi)≤∑iwif(xi).f\left(\sum_iw_ix_i\right) \le\sum_iw_if(x_i).

对凹函数方向反转。

直觉：凸函数惩罚波动，先平均再作用函数不超过先作用再平均。

8. Jensen 例子

取 f(x)=x2f(x)=x^2：

(E[X])2≤E[X2],(\mathbb E[X])^2\le\mathbb E[X^2],

等价于 Var⁡(X)≥0\operatorname{Var}(X)\ge0。

取凹函数 log⁡\log：

E[log⁡X]≤log⁡E[X]\mathbb E[\log X] \le\log\mathbb E[X]

（X>0X>0）。它连接几何平均与算术平均，也用于 EM 和变分下界。

9. Jensen 与 EM 下界

隐变量模型：

log⁡p(x)=log⁡∑zp(x,z).\log p(x)=\log\sum_zp(x,z).

引入任意分布 q(z)q(z)：

log⁡p(x)=log⁡∑zq(z)p(x,z)q(z).\log p(x) =\log\sum_zq(z)\frac{p(x,z)}{q(z)}.

因 log⁡\log 凹，Jensen 给

log⁡p(x)≥∑zq(z)log⁡p(x,z)q(z).\log p(x) \ge\sum_zq(z)\log\frac{p(x,z)}{q(z)}.

右侧是证据下界（ELBO）。EM 交替选择 qq 使下界贴紧，再更新参数提高下界。

10. 强凸与光滑

ff 是 μ\mu-强凸，若

f(y)≥f(x)+∇f(x)T(y−x)+μ2∥y−x∥2.f(y)\ge f(x)+\nabla f(x)^T(y-x) +\frac\mu2\|y-x\|^2.

二阶可微时相当于 H⪰μIH\succeq\mu I。强凸给唯一最优、误差与距离关系及更快收敛保证。

若梯度 LL-Lipschitz，称 LL-光滑，二阶情形常对应 H⪯LIH\preceq LI。条件数 L/μL/\mu 反映优化难度。

11. 凸目标与凸优化问题

目标凸还不够。标准凸优化要求：

  • 最小化凸函数；
  • 等式约束为仿射；
  • 不等式约束形如凸函数 gi(x)≤0g_i(x)\le0。

最大化凹函数等价。若可行域非凸，即使目标凸也可能出现困难。

易错点

  1. 图像“像碗”只是直觉，定义域和所有连线都要满足。
  2. 严格凸保证最优点至多一个，但函数可能不取得最小值。
  3. Hessian 在一个点 PSD 不证明全局凸。
  4. 凸函数的最小值容易，最大值不一定。
  5. Jensen 方向取决于凸/凹，最容易写反。

常见问答

Q1：神经网络损失为何非凸？

多层参数以乘积和非线性复合出现，参数空间存在对称、鞍点与复杂曲率。对最后一层或某些固定表示，子问题可能凸。

Q2：非凸优化是否完全没有希望？

不是。结构、过参数化、随机梯度和良好初始化常使实际可解，只是一般全局保证更弱。

Q3：交叉熵是凸的吗？

对预测概率的负对数是凸；逻辑回归的负对数似然对线性参数凸；深度网络把 logits 非线性依赖于参数后，整体通常非凸。

练习

  1. 判断区间、圆盘、圆周是否为凸集。
  2. 用二阶导判断 exe^x 和 log⁡x\log x 的凸凹性。
  3. 用 Jensen 证明 (EX)2≤E[X2](\mathbb E X)^2\le\mathbb E[X^2]。
  4. 为什么凸可微函数的驻点是全局最优？
  5. 非负加权的凸函数之和为何凸？

答案与提示

  1. 区间和圆盘凸，圆周非凸。
  2. exe^x 二阶导正，凸；log⁡x\log x 二阶导 −1/x2<0-1/x^2<0，凹。
  3. 对 f(x)=x2f(x)=x^2 应用 Jensen。
  4. 一阶下界中令梯度为零。
  5. 对每个函数应用定义不等式，再乘非负权重求和。