鞍点 · aiwiki.page

在多元微积分中，鞍点是实值函数的一个驻点，但既不是局部极大值点，也不是局部极小值点：在任意近处，都存在函数值比该点更大和更小的点。这个名称源于典型函数图形与马鞍的相似之处：沿一个方向向上弯曲，沿另一个方向向下弯曲。在数学优化中，鞍点也指对不同组变量同时满足极小化和极大化条件的点。这两种含义彼此相关，但并不等价。(ocw.mit.edu)

定义与基本例子

对于可微函数 $f:U\subseteq\mathbb{R}^n\to\mathbb{R}$ ，其中 $U$ 为开集，微积分中通常的定义要求 $p$ 是一个临界点，即其梯度满足 $\nabla f(p)=0$ 。如果 $p$ 的每个邻域都包含点 $u,v$ ，使得

f(u)<f(p)<f(v),

那么 $p$ 就是鞍点。

因此，梯度为零只能确定一个候选点，不能确定它的类型。附近必须同时存在比该点更大和更小的函数值，这一要求将鞍点与极值点区分开来。(ocw.mit.edu)

典型例子是多项式

f(x,y)=x^2-y^2.

它在原点的梯度为零。沿 $y=0$ ，函数为 $x^2$ ，在零处取得极小值；沿 $x=0$ ，函数为 $-y^2$ ，在零处取得极大值。因此，直接代入即可说明原点具有鞍点性质。旋转坐标轴会改变图形的外观，但不会改变原点附近同时存在正、负函数值这一事实。(ocw.mit.edu)

海森矩阵与二阶导数判别法

对于二阶偏导数连续的函数，海森矩阵描述了其二阶性质。在二元情形中，对于临界点 $p$ ，定义

D=f_{xx}(p)f_{yy}(p)-f_{xy}(p)^2.

这就是海森矩阵的行列式。若 $D<0$ ，该点为鞍点。若 $D>0$ ，则当 $f_{xx}(p)>0$ 时，该点为严格局部极小值点；当 $f_{xx}(p)<0$ 时，该点为严格局部极大值点。当 $D=0$ 时，这一判别法无法得出结论。(web.mit.edu)

在更高维的情形中，线性代数通过海森矩阵的特征值与特征向量提供相应的判别准则。若同时存在正、负特征值，则该点为鞍点：不同方向上的二次曲率符号相反。若所有特征值都为正，则该点为严格局部极小值点；若所有特征值都为负，则该点为严格局部极大值点。若海森矩阵奇异，则需要进一步分析，除非已有正、负特征值足以确定其鞍点性质。在高维情形中，通常不能仅凭行列式判断临界点的类型。(ocw.mit.edu)

退化鞍点与严格鞍点

如果鞍点处的海森矩阵非奇异，就称该鞍点为非退化鞍点。退化鞍点也可能存在：例如，对于

f(x,y)=x^4-y^4,

直接计算可得原点处的海森矩阵为零矩阵，但沿两条坐标轴，函数值仍呈现相反的符号。这说明二阶导数判别法无法得出结论，并不意味着可以排除鞍点。高阶项或函数值的直接比较可能有助于确定该点的类型。(web.mit.edu)

在优化研究中，严格鞍点通常指海森矩阵至少有一个严格负特征值的驻点。这一定义强调负曲率方向，而不是矩阵的非奇异性。因此，严格鞍点可以具有零特征值；按照这一约定，某些局部极大值点也满足严格鞍点条件。所以，必须结合具体的数学语境理解这一术语。(arxiv.org)

极小极大问题与博弈论

对于 $F:X\times Y\to\mathbb{R}$ ，鞍点对 $(x^*,y^*)$ 满足

F(x^*,y)\leq F(x^*,y^*)\leq F(x,y^*) \qquad(x\in X,\ y\in Y).

固定另一个变量时， $x^*$ 使函数取得最小值， $y^*$ 使函数取得最大值。这些不等式意味着所达到的极小极大值与极大极小值相等。它们是全局条件，比仅仅要求一个点是非极值驻点更强。如果函数关于 $x$ 为凸函数、关于 $y$ 为凹函数，就特别适合采用这一框架：在这些假设下，内部的驻点对满足鞍点不等式。(stanford.edu)

在博弈论中，鞍点对描述了双人零和博弈的纳什均衡。对于行玩家追求最大收益、列玩家追求最小收益的收益矩阵，纯策略鞍点对应的元素在其所在行中最小，在其所在列中最大。有些矩阵不存在这样的元素。允许采用混合策略，就将策略空间扩展为概率分布；此时，有限零和博弈在期望收益意义下必定存在鞍点均衡。(ocw.mit.edu)

在带约束的凸优化中，优化问题的拉格朗日函数所满足的鞍点条件，将原问题的解、乘子与拉格朗日对偶联系起来。在适当的假设下，这些条件刻画了原问题与对偶问题的最优性，并与卡鲁什—库恩—塔克条件相关。(stanford.edu)

数值优化

在最小化目标函数时，鞍点是一个重要问题，机器学习中的损失函数也不例外。在一个精确的驻点处，普通梯度下降不会产生更新，而附近较小的梯度也可能使优化进展缓慢。不过，负曲率可以指明使目标函数值下降的方向。(arxiv.org)

关于避开鞍点的理论结论需要明确的假设。对于二阶连续可微、梯度满足利普希茨连续性的目标函数，如果采用足够小的固定步长，且随机初始化的分布绝对连续，那么梯度下降收敛到某个指定严格鞍点的概率为零。这既不是无条件的收敛保证，也没有给出逃离鞍点所需时间的界。(arxiv.org)

鞍点近似

在复分析中，鞍点也为下列形式的积分近似提供了基础：

I(\lambda)=\int_C e^{\lambda\phi(z)}a(z)\,dz.

驻点满足 $\phi'(z_0)=0$ 。最速下降法在解析性和奇点位置允许的情况下，对积分路径进行变形，使其沿虚部相位保持不变的路径穿过相关鞍点。在这些点附近作局部展开，可以得到 $\lambda$ 很大时的渐近展开。哪些鞍点对积分有贡献，取决于积分路径和参数，而不仅仅取决于驻点方程。(dlmf.nist.gov)