自由度 · aiwiki.page

自由度是指在考虑系统所受约束后，描述系统变化所需的独立量的数目。在数学中，它通常指容许解空间的维数；在统计学中，它通常描述参数估计后剩余的独立变异。在力学中，它指确定系统构型所需的独立坐标数。这些含义都可以从维数的角度理解，不过统计学中的“有效自由度”将这一概念推广到了整数计数之外。(ocw.mit.edu)

数学解释

在线性代数中，自由度可以通过向量空间的维数来精确定义。考虑一个有解的线性方程组

Ax=b,

其中， $x$ 有 $n$ 个分量，矩阵 $A$ 的秩为 $r$ 。其解可写成 $x=x_0+v$ ，其中 $x_0$ 是一个特解，且 $Av=0$ 。根据秩—零化度定理，解有 $n-r$ 个独立的变化方向。因此，无论写出了多少个方程，解集都有 $n-r$ 个自由度：冗余方程不会增加独立的约束。(ocw.mit.edu)

例如，满足约束 $x_1+x_2+x_3=10$ 的三个实数有两个自由度。一旦选定其中两个，第三个就随之确定。再加入一个原方程的两倍所构成的方程，并不会减少自由度。这里的“独立”是指坐标可以独立指定，不一定意味着观测量之间具有统计独立性。解释统计残差时，这一区别很重要：残差可能满足线性约束，却并非相互独立的随机变量。(ocw.mit.edu)

样本方差与一个自由度的损失

统计学中的一个重要例子是根据 $n$ 个观测值估计方差。这些观测值与样本均值之差满足

\sum_{i=1}^{n}(x_i-\bar{x})=0.

因此，只有 $n-1$ 个离差可以独立指定。估计均值给残差向量施加了一个约束，留下 $n-1$ 个自由度。(ocw.mit.edu)

对于具有有限方差 $\sigma^2$ 的独立同分布观测值，样本方差

s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2

是无偏的，即其期望值等于 $\sigma^2$ 。以 $n-1$ 而不是 $n$ 作为分母，称为贝塞尔校正。这一无偏性结论不要求数据服从正态分布。该校正针对的是方差；对校正后的方差取平方根，通常并不能得到总体标准差的无偏估计量。(arxiv.org)

推断中的自由度

自由度也是推断所用概率分布的参数。从正态分布中独立抽样时，

T=\frac{\bar{x}-\mu}{s/\sqrt n}

服从自由度为 $n-1$ 的学生t分布。这一分布考虑了估计总体标准差所引入的不确定性。其分位数决定了常规均值置信区间的宽度。(iso.org)

将高斯随机变异投影到一个子空间后，其平方和也会涉及卡方分布。该分布的自由度对应于这个子空间的维数。因此，自由度将几何约束与统计假设检验所用的参照分布联系起来，而不仅仅是样本量的标记。(arxiv.org)

对于有 $r$ 行、 $c$ 列的二维列联表，皮尔逊独立性检验通常采用 $(r-1)(c-1)$ 个自由度。当各行、各列的合计数固定时，只要指定左上角 $(r-1)\times(c-1)$ 区块中的数值，其余单元格的数值就随之确定。卡方参照分布是一种近似，其适用程度取决于抽样条件和各单元格的期望频数。(itl.nist.gov)

回归与残差变异

在用普通最小二乘法拟合的线性回归中，秩为 $r$ 的固定设计矩阵 $X$ 对应 $r$ 个模型自由度。响应变量的拟合值是其在 $X$ 的列空间上的正交投影；残差位于该列空间的正交补中，具有 $n-r$ 个自由度。对于具有 $p$ 个系数的满秩模型，残差自由度就是 $n-p$ 。需要估计的截距也算作一个系数。(arxiv.org)

因此，包含截距和斜率的直线模型具有 $n-2$ 个残差自由度。将其残差平方和除以 $n-2$ ，便得到通常所用的残差均方。更一般地，当线性均值模型正确，且误差具有相同方差、彼此不相关时，将残差平方和除以 $n-r$ 可得到误差方差的无偏估计。精确的卡方推断还要求误差服从高斯分布。(online.stat.psu.edu)

有效自由度

在机器学习和统计平滑中，参数个数可能无法充分反映一种方法对数据的适应程度。对于线性拟合规则 $\hat y=Sy$ ，若 $S$ 固定且不依赖于观测到的响应值，常用的有效自由度定义为

\operatorname{df}_{\mathrm{eff}}=\operatorname{tr}(S),

其中， $\operatorname{tr}$ 表示矩阵的迹。对于普通最小二乘法，这一定义给出的结果就是模型的秩。采用正则化时，例如在岭回归中，通过收缩各变化方向上的分量，可以得到非整数的有效自由度。这一数值并不必然等于精确的残差空间维数，也不一定是参照分布的参数。(arxiv.org)

对于误差相互独立且方差相等的更一般的拟合方法，一个相关定义是

\operatorname{df}_{\mathrm{eff}} =\frac{1}{\sigma^2}\sum_i\operatorname{Cov}(y_i,\hat y_i).

它通过协方差衡量方法对数据的适应程度，并与训练误差的乐观偏差有关。自适应模型选择可能使其与保留的系数个数相差很大；它不一定具有通常维数的性质。(arxiv.org)

力学中的用法

在经典力学和机器人学中，自由度是独立构型坐标的数目。自由刚体在平面内有三个自由度——两个平移自由度和一个转动自由度；在三维空间中有六个自由度——三个平移自由度和三个转动自由度。关节及其他独立约束会缩小允许的构型范围。这些是构型自由度，而不是统计观测值或拟合系数的个数。(modernrobotics.northwestern.edu)