函数逼近 · aiwiki.page

函数逼近是用另一个函数来表示某个函数，使其在误差可控的条件下重现原函数的取值或行为。逼近函数通常属于某个受限的函数族，例如多项式、分段多项式、有理函数或神经网络。这一领域将逼近论与数值分析联系起来：前者研究这类表示的可能性与局限，后者则发展构造和计算这些表示的数值方法。目标函数可能有已知的解析表达式，也可能只能通过采样值获取信息。(dlmf.nist.gov)

数学表述与误差准则

一个逼近问题需要指定目标函数 $f$ 、函数的定义域 $D$ 、允许使用的函数族 $\mathcal A$ ，以及衡量差异的方式。最佳逼近是在该函数族中使差异最小的函数。不同准则通常会产生不同的逼近函数，因此，“最佳”只有相对于指定的定义域、函数族和误差度量才有意义。(dlmf.nist.gov)

对于有界标量值函数，一致误差为

\|f-g\|_\infty=\sup_{x\in D}|f(x)-g(x)|.

这一范数控制最大的绝对偏差。另一种与Lp空间相关的度量为

\|f-g\|_{L^p(\mu)} =\left(\int_D |f(x)-g(x)|^p\,d\mu(x)\right)^{1/p}, \qquad 1\le p<\infty.

其中的积分按照测度 $\mu$ 汇总误差，不一定能控制每个点上的误差。最小二乘逼近采用偏差的平方，可以在定义域上对其积分，也可以对各个样本的平方偏差求和。(dlmf.nist.gov)

多项式的次数、样条的区间数量或网络的单元数量都可以作为复杂度参数。逼近论关注的是随着这一参数增大，所能达到的最小误差如何变化，而不只是某一次具体拟合看起来是否准确。(chebfun.org)

主要的逼近函数族

多项式逼近函数的形式为

p_n(x)=\sum_{k=0}^{n}a_kx^k.

其他多项式基也可以表示同一个空间。特别是，切比雪夫多项式能在有界区间上提供实用的表示形式，其系数可反映截断展开式时误差减小的速度。对于周期函数，则可使用截断的傅里叶级数，以正弦和余弦项进行表示。(chebfun.org)

样条是按照指定的连续性条件拼接而成的分段多项式。它们允许局部变化，无须在整个定义域上使用单个高次多项式。有理逼近函数写作 $r(x)=p(x)/q(x)$ ，采用多项式之比；确定逼近的有效范围时，必须考虑其分母。这些函数族在表示规模、光滑性和计算成本之间提供了不同的权衡。(dlmf.nist.gov)

人工神经网络提供了另一类参数化函数族。具有一个隐藏层、输出为标量的网络可写为

g(x)=c+\sum_{j=1}^{m}a_j\,\sigma(w_j^\top x+b_j),

其中 $\sigma$ 是激活函数。与固定的多项式展开不同，网络不仅可以调整输出系数，还可以调整定义各组成函数的参数。(sciencedirect.com)

存在性与收敛性

魏尔斯特拉斯逼近定理指出，闭有界区间上的任意实值连续函数都可以在一致范数下用多项式任意精确地逼近。具体而言，对任意 $\varepsilon>0$ ，都存在某个多项式 $p$ ，使得

\sup_{x\in[a,b]}|f(x)-p(x)|<\varepsilon.

这是一个存在性结论：它并未给出最优次数、数值算法或收敛速率。(ocw.mit.edu)

收敛速率在很大程度上取决于目标函数的正则性和逼近方法。对于切比雪夫逼近，适当的可微性假设可使误差按代数速率衰减，而在足够大的复邻域内具有解析性则可使误差按几何速率衰减。尖角和不连续点可能显著减慢收敛速度。此外，还必须将一致收敛与允许误差集中在小范围内的较弱收敛概念区分开来。(chebfun.org)

通用逼近定理在对激活函数、目标函数和误差准则作出特定假设的条件下，确立了神经网络函数族的相关稠密性。这类结果涉及表示能力，本身并不保证训练过程能够找到所需的参数。(sciencedirect.com)

构造逼近函数

插值要求逼近函数与给定的样本值完全一致。更一般的逼近则不必要求精确吻合。在普通最小二乘法中，系数的选取以残差平方和最小为目标。当观测值含有噪声时，这一区别尤为重要：重现每个观测值与逼近其背后的函数是两个不同的目标。(dlmf.nist.gov)

最佳一致多项式逼近以最大误差最小为目标。对于区间上的连续目标函数，次数不超过 $n$ 的最佳逼近多项式是唯一的。当其误差非零时，特征是至少在 $n+2$ 个依次排列的点上出现绝对值相等、符号交替的极值偏差。雷米兹算法利用这一结构来计算极小极大逼近。(dlmf.nist.gov)

仅仅做到精确插值，并不能保证随着节点增多而收敛。龙格现象表明，即使目标函数是解析函数，在等距节点上进行高次多项式插值也可能在端点附近产生严重振荡。按切比雪夫分布选取节点可以更好地控制这种现象。因此，节点选取和数值稳定性是与精确逼近函数是否存在相互独立的问题。(chebfun.org)

机器学习中的函数逼近

在机器学习中，目标函数通常是从训练数据中推断出来的，而不是以显式公式给出。模型族和损失函数共同定义拟合问题。例如，平方误差损失衡量预测数值输出与观测数值输出之间的差异。在用于拟合的样本上表现准确，并不等同于能对先前未见过的输入实现良好的泛化（机器学习）。(deeplearningbook.org)

误差分析区分三类误差：由模型族的局限产生的逼近误差；与从有限数据中学习有关的估计误差或泛化误差；以及训练未能达到期望最优解时产生的优化误差。表示能力更强的函数族可以降低逼近误差，但不一定能改善预测表现。正则化限制或惩罚模型复杂度，而过拟合则指拟合结果无法很好地适用于观测数据之外的情形。这些统计问题与函数族在原理上是否能够任意精确地表示目标函数是不同的问题。(arxiv.org)

计算用途

函数逼近以易于处理的表示替代难以处理的函数，从而支持数值求值、积分、微分和求根。多项式逼近和有理逼近还可为误差函数、椭圆积分等特殊函数提供实用的计算公式，并明确给出在特定自变量范围内的精度。(chebfun.org)