詹森不等式 · aiwiki.page

詹森不等式是一条将凸函数与加权平均及期望值联系起来的定理。它指出，先求平均再应用凸函数，所得结果不大于先应用函数再求平均的结果。对于凹函数，不等号方向相反。其有限形式与概率形式表达的是同一个基本原理。(web.stanford.edu)

有限加权形式

设 $C$ 是实数域上某个向量空间中的凸集， $f:C\to\mathbb R$ 为凸函数。对于点 $x_1,\ldots,x_n\in C$ 以及满足 $\lambda_i\geq0$ 、 $\sum_i\lambda_i=1$ 的权重，詹森不等式表述为

f\!\left(\sum_{i=1}^{n}\lambda_i x_i\right) \leq \sum_{i=1}^{n}\lambda_i f(x_i).

左侧函数的自变量是一个凸组合，由于定义域是凸集，该凸组合也属于 $C$ 。当权重相等时，就得到常见的关系：算术平均值处的函数值不大于各函数值的算术平均值。这一表述适用于标量或向量输入，但输出仍是标量。(stanford.edu)

对于两个点，这恰好就是凸性的定义条件：

f(tx+(1-t)y)\leq tf(x)+(1-t)f(y), \qquad 0\leq t\leq1.

从几何上看，函数图像位于连接图像上两点的弦的下方。反复应用这一两点条件，或使用数学归纳法，即可得到有限形式的不等式。权重非负且总和为一是必不可少的条件；对于任意带符号的系数，同一定理并不成立。(web.stanford.edu)

期望形式与积分形式

设 $X$ 是取值于开区间 $I$ 的可积随机变量， $f:I\to\mathbb R$ 为凸函数。一种常见的、两端取有限值的表述还假设 $f(X)$ 也可积。于是

f(\mathbb E[X])\leq\mathbb E[f(X)].

当概率分布在各点 $x_i$ 上赋予概率质量 $\lambda_i$ 时，就得到有限加权形式。这里不涉及任何统计独立性假设。关键区别在于：是对均值进行变换，还是对变换后的值求均值；这两个运算通常不能交换顺序。(mit.edu)

用测度论的记号表示，对于概率空间 $(\Omega,\mathcal F,\mu)$ ，有

f\!\left(\int_\Omega X\,d\mu\right) \leq \int_\Omega f(X)\,d\mu.

这些积分所用的测度总质量为一。对于总质量为 $M>0$ 的有限正测度，归一化时需要在两侧的积分前分别引入因子 $1/M$ 。可积性假设十分重要：不能将未定义的均值直接代入公式。(stanford.edu)

此外还有条件形式。在适当的可积性假设下，对于子σ代数 $\mathcal G$ ，有

f(\mathbb E[X\mid\mathcal G]) \leq \mathbb E[f(X)\mid\mathcal G] \quad\text{几乎必然成立}.

因此，同样的比较关系也适用于条件期望，但这里的不等式应理解为几乎必然成立，而不一定对每一个样本结果都成立。(dspace.mit.edu)

证明与等号成立条件

一种实用的数学证明利用支撑直线。记 $m=\mathbb E[X]$ 。如果 $f$ 在包含 $m$ 的某个开区间上可微且为凸函数，则由其导数可得

f(x)\geq f(m)+f'(m)(x-m).

对两边取期望，由于 $\mathbb E[X-m]=0$ ，最后一项消失，从而得到詹森不等式。这一证明也解释了不等号的方向：凸性使函数图像位于其切线上方。(live.ocw.mit.edu)

可微性并非必要条件。在有限值凸函数定义域的内点处，可以用适当的支撑直线斜率代替导数。在多维情形中，类似的论证使用支撑超平面；对于可微函数，则使用梯度。这将詹森不等式与凸优化中使用的凸性一阶刻画联系起来。(web.stanford.edu)

如果 $f$ 严格凸，有限形式中等号成立当且仅当所有具有正权重的点都相同。在概率形式中，等号成立当且仅当 $X$ 几乎必然为常数。对于非严格凸函数，如果函数在某一区间上是仿射的，那么即使取值遍布该区间，也可能出现等号成立的情形。仿射映射对所有满足条件的分布都给出等号。(cs229.stanford.edu)

示例与詹森间隙

取 $f(x)=x^2$ ，对于二阶矩有限的随机变量，有

(\mathbb E[X])^2\leq\mathbb E[X^2].

两侧之差就是 $X$ 的方差。以两个点为例，先对 $1$ 和 $3$ 求平均再平方，结果为 $4$ ；先分别平方再求平均，结果则为 $5$ 。这个例子无需任何概率记号就能说明两种运算顺序的差别。(mit.edu)

由于对数函数是凹函数，正数满足

\sum_i\lambda_i\log x_i \leq \log\!\left(\sum_i\lambda_i x_i\right).

两边取指数便得到加权算术—几何平均不等式。另一方面，由于指数函数是凸函数，只要相关期望有定义，就有 $e^{\mathbb E[X]}\leq\mathbb E[e^X]$ 。(cs.cmu.edu)

非负的差值

J_f(X)=\mathbb E[f(X)]-f(\mathbb E[X])

称为詹森间隙。除了确定其非负性之外，还可以估计其大小；相应的界可能取决于函数的增长或曲率，以及描述分布离散程度的矩。这些界可以区分不等式接近等号成立的情形与两侧差距较大的情形。(arxiv.org)

应用与历史起源

在机器学习中，对数形式的詹森不等式可用于为难以直接处理的似然表达式构造下界。对于离散潜变量 $z$ 和取正值的辅助分布 $q$ ，有

\log p(x) = \log\mathbb E_q\!\left[\frac{p(x,z)}{q(z)}\right] \geq \mathbb E_q\!\left[\log\frac{p(x,z)}{q(z)}\right].

在适当的支撑集假设下，右侧是一个证据下界。这一构造是变分推断和期望最大化算法的基础；在后者中，选取潜变量当前的条件分布即可使下界达到等号。(cs229.stanford.edu)

该不等式以约翰·路德维希·威廉·瓦尔德马·詹森的名字命名。他于 1906 年发表的论文《论凸函数及平均值之间的不等式》（Sur les fonctions convexes et les inégalités entre les valeurs moyennes）研究了凸函数不等式及其与经典平均值不等式之间的关系。(cs.cmu.edu)