标准差是统计学和概率中的一种离散程度度量,用于描述观测值或可能取值在均值周围的分散程度。它是方差的非负平方根。由于标准差与被测量的量具有相同单位,它在原始测量尺度上反映变异程度,而不是以单位的平方表示。总体标准差通常记作 (\sigma),样本标准差通常记作 (s)。(itl.nist.gov)
定义
对于期望值为 (\mu=E[X]) 且二阶矩有限的随机变量 (X),标准差定义为
[ \sigma_X=\sqrt{E[(X-\mu)^2]} =\sqrt{E[X^2]-(E[X])^2}. ]
根号内的表达式是二阶中心矩。因此,标准差描述的是一种概率分布,而不仅仅是一组观测值。对于离散分布,计算这一期望值时,要以各取值的概率为权重,对偏差的平方加权求和;对于连续分布,则将偏差的平方乘以概率密度后进行积分。(online.stat.psu.edu)
对于由 (N) 个等权重数值组成的完整有限总体,相应公式为
[ \mu=\frac1N\sum_{i=1}^{N}x_i,\qquad \sigma=\sqrt{\frac1N\sum_{i=1}^{N}(x_i-\mu)^2}. ]
标准差是偏差的均方根,而不是与均值的绝对距离的平均值。平方运算使正偏差和负偏差都产生非负贡献,并使较大的偏差获得不成比例的更大权重。(online.stat.psu.edu)
样本估计
用观测值估计更大总体的变异程度时,常规的样本标准差为
[ s=\sqrt{\frac{1}{n-1} \sum_{i=1}^{n}(x_i-\bar{x})^2}, \qquad \bar{x}=\frac1n\sum_{i=1}^{n}x_i, ]
其中 (n\ge2)。分母采用 (n-1) 的做法称为贝塞尔校正,反映了用同一组观测值估计总体均值时会损失一个自由度:各观测值相对于样本均值的偏差之和必须为零。(online.stat.psu.edu)
对于方差有限的独立同分布观测值,(s^2) 是总体方差的无偏估计量。然而,取平方根并不能保持无偏性:用 (s) 估计 (\sigma) 时,通常存在向下的估计量的偏差。因此,方差的无偏估计与标准差的无偏估计是两个不同的问题。(online.stat.psu.edu)
若改为除以 (n),则是在将观测值视为一个等权重经验总体的情况下描述其离散程度。选择 (n) 还是 (n-1),取决于所要采用的统计解释,而不只是数据集的大小。(online.stat.psu.edu)
计算示例
考虑数值 (2,4,4,4,5,5,7,9)。它们的均值为 (5),偏差的平方和为
[ 9+1+1+1+0+0+4+16=32. ]
应用总体公式可得
[ \sigma=\sqrt{32/8}=2. ]
对同一组数值应用常规的样本公式可得
[ s=\sqrt{32/7}\approx2.138. ]
这两个结果分别依据上述两种定义计算得出,差异完全来自分母。无论哪一个结果,都不意味着每个观测值与均值的距离恰好等于该结果,也不意味着标准差等于数据集的极差。
数学性质
标准差是非负的。对于有限数据集,当且仅当所有数值都相同时,标准差等于零;对于方差有限的随机变量,当该变量以概率一取某个常数值时,标准差等于零。加上一个常数会改变位置,但不会改变离散程度。乘以一个常数则会使标准差变为原来的该常数绝对值倍:
[ \operatorname{SD}(aX+b)=|a|\operatorname{SD}(X). ]
因此,改变测量单位时,标准差会与观测值按相同的比例缩放。(online.stat.psu.edu)
对于两个方差有限的变量,
[ \operatorname{SD}(X+Y)= \sqrt{\sigma_X^2+\sigma_Y^2+ 2\operatorname{Cov}(X,Y)}. ]
协方差项表示两个变量共同变化的情况。在满足统计独立性时,该项为零,因此方差可以相加,而标准差通常不能直接相加。(online.stat.psu.edu)
分布层面的解释
对于正态分布,距离均值不超过一个标准差的区间包含约 68.27% 的概率,两个标准差以内包含约 95.45%,三个标准差以内包含约 99.73%。这些百分比以正态性为前提,并不是标准差普遍具有的性质。(itl.nist.gov)
切比雪夫不等式给出了适用范围更广的结论。对于任何标准差有限且为正的分布,以及 (k>1),都有
[ P(|X-\mu|\ge k\sigma)\le\frac1{k^2}. ]
因此,距离均值不超过两个标准差的区间内至少包含 75% 的概率,无须假定分布具有对称性或正态性。这一界限通常远不如正态分布的上述百分比精确。(nvlpubs.nist.gov)
标准分数 (z=(x-\mu)/\sigma) 以标准差为单位,表示观测值相对于均值的带符号距离。标准化会改变位置和尺度,但其本身并不能使非正态分布变为正态分布。(itl.nist.gov)
标准误、局限性与计算
标准差描述观测值的变异程度,而标准误描述估计量在重复抽样中的变异程度。对于 (n) 个独立同分布的观测值,样本均值的标准误为 (\sigma/\sqrt n),通常用 (s/\sqrt n) 估计。解释置信区间时,这一区别十分重要:均值的不确定性不同于各个观测值之间的离散程度。(online.stat.psu.edu)
由于偏差的平方会突出极端观测值的影响,标准差对异常值和重尾分布较为敏感。四分位距和中位数绝对偏差是描述离散程度的其他指标,对极端值的敏感性较低。有些分布不存在有限的总体标准差,尽管任何由有限数值组成的有限样本都可以计算样本标准差。(itl.nist.gov)
数值计算的实现方式也很重要。通过两个很大且几乎相等的量相减来计算方差,可能会损失精度。先计算各观测值与均值的偏差,再平方求和,可以避免这种特定的相消问题。当观测值具有很大的共同偏移量,而彼此之间的变异又相对较小时,这一点尤为重要。(nist.gov)