凸函数 · aiwiki.page

凸函数是一种函数：它在两个输入之间的值，始终不超过这两个输入处函数值的直线插值。在一维情形下，其图像位于连接任意两个图像点的弦上或弦的下方。凸性的概念可以推广到多元函数，并不要求函数可微。凸性是数学分析和凸优化中的基本概念，将几何结构与全局最优性联系起来。(stanford.edu)

定义与几何解释

设 $C$ 是实向量空间中的一个凸集。如果对于所有 $x,y\in C$ 和 $t\in[0,1]$ ，都有

f((1-t)x+ty)\leq(1-t)f(x)+tf(y),

则称函数 $f:C\to\mathbb R$ 为凸函数。

定义域的条件至关重要：连接 $C$ 中任意两点的整条线段都必须包含在 $C$ 中。如果上述不等式反向成立，则称函数为凹函数；等价地， $-f$ 是凸函数。仿射函数，例如 $f(x)=a^\mathsf Tx+b$ ，满足上述等式，因此既是凸函数，也是凹函数。(stanford.edu)

一种等价的几何刻画使用函数的上图集，即集合

\operatorname{epi}f=\{(x,r):x\in C,\ r\geq f(x)\}.

函数是凸函数，当且仅当其上图集是凸集。其下水平集 $\{x:f(x)\leq a\}$ 也都是凸集。反过来，下水平集为凸集只能得到一个较弱的性质：它刻画的是拟凸函数，而拟凸函数不一定满足凸性不等式。(stanford.edu)

示例与微分判别法

基本例子包括定义在 $\mathbb R$ 上的 $x^2$ 、 $|x|$ 和 $e^x$ ，以及定义在 $x>0$ 上的 $-\log x$ 。绝对值函数说明，凸函数可以存在尖点。在多维情形下，赋范向量空间中的范数是凸函数，欧几里得范数的平方也是凸函数。对于二次函数 $f(x)=\tfrac12x^\mathsf TQx+b^\mathsf Tx+c$ ，若 $Q$ 是对称矩阵，则该函数为凸函数，当且仅当 $Q$ 是半正定矩阵。(web.stanford.edu)

对于定义在开凸集上的可微函数，凸性等价于以下一阶条件：

f(y)\geq f(x)+\nabla f(x)^\mathsf T(y-x).

因此，由梯度确定的仿射近似是函数的全局下界，而不仅仅是局部近似。从几何上看，它确定了位于函数图像下方的一个支撑超平面。(web.stanford.edu)

对于二阶连续可微函数，凸性等价于其海森矩阵处处半正定。在一维情形下，这一条件变为 $f''(x)\geq0$ ；等价地，如果导数在整个区间内都存在，则导数单调不减。这些判别条件针对的是整个凸定义域，而不仅是某一点处的曲率。(web.stanford.edu)

严格凸性与强凸性

如果只要 $x\ne y$ 且 $0<t<1$ ，凸性的定义不等式就严格成立，则称函数为严格凸函数。严格凸性排除了函数在任何非退化线段上呈仿射变化的可能。海森矩阵处处正定是严格凸性的充分条件，但不是必要条件： $x^4$ 在 $\mathbb R$ 上严格凸，尽管其二阶导数在零点处为零。(stanford.edu)

强凸性是对凸性的定量加强。相对于欧几里得范数，给定 $\mu>0$ ，如果 $f(x)-\tfrac{\mu}{2}\|x\|^2$ 是凸函数，则称 $f$ 为 $\mu$ -强凸函数。等价地，

f((1-t)x+ty) \leq(1-t)f(x)+tf(y) -\frac{\mu}{2}t(1-t)\|x-y\|^2.

强凸性蕴含严格凸性，而严格凸性不一定能给出统一的正曲率下界。(web.mit.edu)

运算与不等式

凸函数的非负加权和仍是凸函数。与仿射映射复合、逐点取最大值，以及在能够定义适当函数的情况下逐点取上确界，也都保持凸性。因此，形如 $\max_i(a_i^\mathsf Tx+b_i)$ 的函数是凸函数，尽管它们在不同分段的交界处通常不可微。不过，凸函数的乘积和逐点最小值不一定是凸函数。(live.ocw.mit.edu)

反复应用凸性的定义，可以得到詹森不等式：

f\left(\sum_i p_ix_i\right)\leq\sum_i p_if(x_i), \qquad p_i\geq0,\quad\sum_i p_i=1.

在适当的定义域和可积性条件下，其概率形式为 $f(\mathbb EX)\leq\mathbb E[f(X)]$ 。这里， $X$ 是随机变量， $\mathbb E$ 表示期望值。这一不等式将凸性与平均值的界以及离散程度的度量联系起来。(live.ocw.mit.edu)

不可微性与优化

凸函数在 $x$ 处的一个次梯度，是指对定义域中的每个 $y$ 都满足

f(y)\geq f(x)+g^\mathsf T(y-x)

的向量 $g$ 。次梯度允许尖点处存在多个支撑斜率，从而推广了梯度的概念。对于 $f(x)=|x|$ ，零点处的次梯度构成区间 $[-1,1]$ 。在可微点处，唯一次梯度就是通常的梯度。(people.csail.mit.edu)

在数学优化中，在凸可行集上最小化凸目标函数具有一个重要结论：每个局部最小值都是全局最小值。严格凸性保证最小值点至多只有一个，但并不保证函数能取到最小值。例如， $e^x$ 在 $\mathbb R$ 上严格凸，但其下确界为零，且永远无法取到。对于无约束的可微凸函数，梯度为零即可判定该点具有全局最优性；在非光滑情形下，对应条件是 $0\in\partial f(x)$ 。(web.mit.edu)

这些性质是梯度下降和次梯度算法等方法的基础，而这些方法的收敛还需要额外的假设和适当的步长。凸模型广泛应用于机器学习、统计学、资源分配、工程设计和控制。必须针对实际参与优化的变量来证明凸性；仅凭某个组成部分的凸性，并不能认定整个模型具有凸性。(web.mit.edu)