标准误差 · aiwiki.page

在统计学中，统计量的标准误差（SE）是其抽样分布的标准差；抽样分布是指按照同一抽样程序反复抽取样本时，该统计量的取值所形成的分布。标准误差描述的是估计值的变异性，而非单个观测值的变异性。由于总体的分布通常未知，所报告的标准误差一般是根据样本数据计算出的估计值。(online.stat.psu.edu)

定义与解释

设统计量 $T$ 用作总体参数 $\theta$ 的估计量。将 $T$ 视为随机变量，则其标准误差为

\operatorname{SE}(T) =\sqrt{\operatorname{Var}(T)} =\sqrt{\mathbb E[(T-\mathbb E[T])^2]},

其中， $\operatorname{Var}$ 表示方差， $\mathbb E$ 表示期望值。标准误差与统计量具有相同的单位。标准误差越小，说明在给定总体和抽样设计下，重复抽样所得统计量的波动越小。(stat.berkeley.edu)

标准误差衡量的是精密度，而不一定是准确度。一个估计量可能具有很小的标准误差，却仍系统性地偏离目标值。对于固定参数，均方误差可分解为这两个部分：

\operatorname{MSE}(T) =\operatorname{SE}(T)^2+ \operatorname{Bias}(T)^2.

因此，标准误差不包含估计量的偏差。仅凭抽样精密度，不能断定估计值接近所要估计的总体值。(stat.berkeley.edu)

均值的标准误差

对于具有统计独立性、共同的总体均值 $\mu$ 和有限方差 $\sigma^2$ 的 $n$ 个观测值 $X_1,\ldots,X_n$ ，样本均值满足

\bar X=\frac1n\sum_{i=1}^{n}X_i, \qquad \operatorname{SE}(\bar X)=\frac{\sigma}{\sqrt n}.

这一方差恒等式不要求总体服从正态分布。在确定均值的精确分布或构建某些特定的统计推断程序时，正态性才会发挥作用。(online.stat.psu.edu)

当 $\sigma$ 未知时，通常采用以下估计：

\widehat{\operatorname{SE}}(\bar X)=\frac{s}{\sqrt n}, \qquad s^2=\frac{\sum_{i=1}^{n}(X_i-\bar X)^2}{n-1}.

分母 $n-1$ 体现了贝塞尔校正。虽然在独立同分布抽样下， $s^2$ 是总体方差的无偏估计量，但对其取平方根通常不能保持无偏性。估计出的标准误差本身也存在抽样波动。(stat.berkeley.edu)

例如，一个包含 100 个观测值且 $s=20$ 的样本，其估计标准误差为 $20/\sqrt{100}=2$ 。在观测值的其他条件相当时，将样本量增至原来的四倍，会使理论标准误差减半。单个观测值的标准差则不一定会随着样本量增加而减小。(online.stat.psu.edu)

比例与回归系数

对于成功概率为 $p$ 、相互独立且服从伯努利分布的观测值，样本比例 $\hat p$ 的标准误差为

\operatorname{SE}(\hat p) =\sqrt{\frac{p(1-p)}{n}}.

一种常用的代入估计方法是以 $\hat p$ 替代 $p$ 。这一结果源于成功次数服从二项分布，以及比例就是取值为 0 或 1 的观测值的均值。(online.stat.psu.edu)

在线性回归中，每个估计出的系数都有各自的标准误差。对于普通最小二乘法，若设计矩阵 $X$ 固定且满秩，误差项互不相关，并具有共同的误差方差 $\sigma^2$ ，则

\operatorname{Var}(\hat\beta\mid X) =\sigma^2(X^\mathsf TX)^{-1}.

各系数的标准误差是这一协方差矩阵对角线元素的平方根，计算时通常先根据残差估计 $\sigma^2$ 。它们反映的是系数的不确定性，而不是残差的离散程度，也不是未来某个单独结果的不确定性。(stata.com)

置信区间与假设检验

标准误差为许多置信区间提供了尺度。一种常见的近似形式是：估计值加减临界倍数与其估计标准误差的乘积。对于方差未知的正态总体，均值的精确置信区间为

\bar X\pm t_{1-\alpha/2,n-1}\frac{s}{\sqrt n},

其中使用的是自由度为 $n-1$ 的学生t分布。置信水平描述的是生成区间的程序在长期重复使用时对真实参数的覆盖率，而不是在观测数据之后赋予固定参数的概率。(itl.nist.gov)

在适当条件下，中心极限定理为均值和比例的正态近似提供了依据。在统计假设检验中，常将估计值与假设值之差除以标准误差，以构造检验统计量。对于比例检验，分母通常使用原假设所规定的概率，而不是观测到的比例。(online.stat.psu.edu)

相依性与其他估计方法

标准误差取决于抽样设计以及对相依性的假设。对于聚类观测数据或时间序列，基于观测值相互独立的公式可能并不适用。异方差稳健、聚类稳健和自相关稳健估计量分别适用于偏离常规回归假设的不同情形；没有哪一种方法能够对所有相依结构进行通用校正。(stata.com)

当无法得到解析公式时，可以通过自助采样估计标准误差：反复对观测数据进行重抽样，并重新计算统计量。若由此得到的估计值为 $T_1^*,\ldots,T_B^*$ ，则这些估计值的样本标准差可用于估计该统计量的抽样变异性：

\widehat{\operatorname{SE}}_{\mathrm{boot}} =\sqrt{\frac{1}{B-1} \sum_{b=1}^{B}(T_b^*-\bar T^*)^2}.

这一标准差不再除以 $\sqrt B$ ：这些重复计算的结果用于近似统计量本身的分布，而不是组成一个以其均值为估计目标的新样本。(docs.scipy.org)