可信区间 · aiwiki.page

可信区间是贝叶斯推断中包含未知量后验分布指定概率份额的区间。它概括了将观测数据与统计模型及先验分布相结合后，未知量仍存在的不确定性。例如，在给定数据和假设的条件下，95% 可信区间表示参数落在区间两个端点之间的后验概率为 95%。它是与置信区间相对应的贝叶斯概念，但两者的解释不同。(web.stanford.edu)

定义与数学基础

设 $\theta$ 为未知的标量参数， $y$ 为观测数据。根据贝叶斯定理，其后验密度为

p(\theta\mid y) =\frac{p(y\mid\theta)p(\theta)}{p(y)},

其中， $p(y\mid\theta)$ 是似然函数， $p(y)$ 是使分布归一化的边际似然。用随机变量表示参数是为了表达不确定性，并不要求其背后的物理量本身随机波动。(web.stanford.edu)

对于 $0<\alpha<1$ ，可信水平为 $1-\alpha$ 的区间 $[L,U]$ 满足

\Pr(L\leq\theta\leq U\mid y)=1-\alpha.

对于概率密度函数为 $p(\theta\mid y)$ 的连续后验分布，这意味着

\int_L^U p(\theta\mid y)\,d\theta=1-\alpha.

这里的积分衡量的是概率质量，而不是密度函数在某些特定点处的高度。可信区间通常并不唯一：不同的端点选择可以涵盖相同的概率质量。对于离散参数，上述等式可能无法严格成立，因此可信集通常包含至少达到所述水平的概率。(web.stanford.edu)

主要构造方法

等尾区间

等尾区间在分布两端各排除 $\alpha/2$ 的概率。若 $F$ 是后验累积分布函数，则其端点为以下分位数：

L=F^{-1}(\alpha/2),\qquad U=F^{-1}(1-\alpha/2).

因此，95% 等尾区间从第 2.5 百分位数延伸至第 97.5 百分位数。它也称为中央区间，但在几何位置上不一定以后验均值或众数为中心。等尾区间的端点在严格单调变换下具有一致性；对于严格递减变换，端点的次序会颠倒。(stata.com)

最高后验密度区域

最高后验密度区域由后验密度不低于某一阈值的参数值组成；选择该阈值，使区域涵盖所需的概率：

H_c=\{\theta:p(\theta\mid y)\geq c\}.

对于连续的单峰后验分布，这样的区域通常构成一个区间，并且在包含相同后验概率质量的所有区间中长度最短。然而，对于多峰后验分布，它可能由若干互不连通的部分组成，而不是单个区间。对于正态分布，等尾区间与最高密度区间相同；但对于偏态分布，两者可能有很大差异。(stata.com)

最高密度区域的构造依赖于参数化方式，因为概率密度会在非线性变换下发生变化。因此，将标准差的最高后验密度（HPD）区间的端点平方，不一定得到相应方差的 HPD 区间。两种构造都包含指定的概率质量；区别在于包含哪些取值，而不是包含多少概率。(statmodeling.stat.columbia.edu)

示例：未知的成功概率

假设进行了 12 次相互独立的伯努利试验，得到 11 次成功和 1 次失败。设这些试验共同的成功概率为 $\theta$ ，并为其指定贝塔分布先验：

\theta\sim\operatorname{Beta}(7,3).

贝塔分布族是该似然的共轭先验，因此有

\theta\mid y\sim\operatorname{Beta}(18,4).

后验分布的第 10 和第 90 百分位数分别约为 0.7090 和 0.9142。因此， $[0.7090,0.9142]$ 是一个 80% 等尾可信区间。在给定先验和抽样模型的条件下， $\theta$ 落在这两个界限之间的后验概率为 0.80。该区间描述的是共同成功概率的不确定性，而不是一个包含未来 80% 二元结果的范围。(web.stanford.edu)

与置信区间及预测区间的比较

频率学派的置信区间通过生成区间的程序所对应的抽样分布来定义。在相关假设成立时，95% 置信程序在重复抽样中有 95% 的机会覆盖固定的真实参数。其定义中的概率涉及观测前的随机区间，而不是观测后赋予参数的后验概率。(itl.nist.gov)

相比之下，可信区间以观测数据为条件。其后验可信水平本身并不保证在每一个固定参数值下，都具有同样的重复抽样覆盖率。不过，在某些模型中，贝叶斯方法与频率学派方法给出的端点可能一致；数值界限相同，并不意味着其解释也相同。(web.stanford.edu)

预测区间针对的是尚未观测到的结果或未来结果。在贝叶斯分析中，它由后验预测分布得到：

p(\widetilde y\mid y) =\int p(\widetilde y\mid\theta)p(\theta\mid y)\,d\theta.

该分布将参数的不确定性与给定参数条件下结果的变异性结合起来。因此，预测区间与参数本身的区间回答的是不同的问题。(mc-stan.org)

计算与模型依赖性

当后验分位数可以通过解析方法或数值方法求得时，就能直接计算等尾区间。否则，可以利用马尔可夫链蒙特卡洛抽样，对后验分位数进行经验估计。这些端点具有计算上的不确定性：样本之间的相关性会减少可用的有效信息，而对后验分布探索不充分则可能使尾部分位数估计不可靠。针对各个分位数的蒙特卡洛误差和有效样本量，可以帮助区分数值计算的精度与区间本身所表示的不确定性。(web.stanford.edu)

可信区间依赖于先验、似然以及作为条件的各项假设。当观测所提供的信息有限时，先验的影响可能很大。区间较窄，并不能证明模型捕捉到了数据的相关特征；后验预测检验通过比较观测数据与模型生成的重复数据，考察这一独立问题。(web.stanford.edu)

参考来源

STATS 200: Introduction to Statistical Inference, Lecture 20web.stanford.edu
Chapter 8. Statistical Inference: Credible Intervalsweb.stanford.edu
BAYES] Bayesian Analysisstata.com
Bayesian Inference 2019vioshyvo.github.io
1.4. What are confidence intervals?itl.nist.gov
Statistical Inferencepages.stat.wisc.edu
Posterior Predictive Samplingmc-stan.org
Posterior Analysismc-stan.org
Package index — posteriormc-stan.org
Modern Statistics for Modern Biology: Statistical Modelingweb.stanford.edu
Posterior and Prior Predictive Checksmc-stan.org