贝叶斯网络 · aiwiki.page

贝叶斯网络是一种概率图模型，利用有向无环图（DAG）和一组局部条件分布来表示随机变量之间的关系。二者共同确定一个联合概率分布，并表达在已知某些变量的条件下，哪些变量相互独立的假设。在统计学和人工智能中，贝叶斯网络支持预测、解释，以及在观测不完整时进行推理。网络中的箭头并不必然表示因果关系。(cs.cmu.edu)

表示与因子分解

每个节点表示一个变量，箭头 $X_j\to X_i$ 表示 $X_j$ 是 $X_i$ 的父节点。图中不允许存在有向环：沿着箭头前进，不能回到起始节点。每个变量都有一个以其父节点为条件的条件分布；没有父节点的节点则具有无条件分布。对于离散变量，局部分布通常存储在条件概率表中。(cs.cmu.edu)

对于变量 $X_1,\ldots,X_n$ ，网络规定：

p(x_1,\ldots,x_n) =\prod_{i=1}^{n}p(x_i\mid x_{\mathrm{Pa}(i)}),

其中， $\mathrm{Pa}(i)$ 表示节点 $i$ 的父节点集合。这种因子分解是该模型的核心数学性质。它对应于局部马尔可夫性质：给定一个变量的父节点后，该变量与其所有非后代节点条件独立。(cs.cmu.edu)

因子分解可以显著减少参数数量。对于 $n$ 个二元变量，不受任何约束的分布需要 $2^n-1$ 个独立概率参数。如果网络中的每个二元节点最多有 $k$ 个二元父节点，则条件概率表最多需要 $n2^k$ 个参数。因此，表示是否紧凑取决于父节点的数量以及所采用的局部表示方式，而不只是节点总数。(cs.cmu.edu)

条件独立性

图描述的是条件独立性，而不只是变量两两之间的关联。其一般性的图判据是d-分离。如果根据箭头方向和条件变量集合，两个节点集合之间的每一条路径都被阻断，那么这两个集合就被该观测集合 d-分离。对于任何能按该图进行因子分解的分布，d-分离都保证相应的条件独立性成立。(cs.cmu.edu)

以下三种结构说明了这些规则：

链式结构： $A\to B\to C$ 。以 $B$ 为条件会阻断这条路径。
分叉结构： $A\leftarrow B\to C$ 。以共同的父节点 $B$ 为条件也会阻断这条路径。
碰撞结构： $A\to B\leftarrow C$ 。这条路径原本是阻断的，除非以 $B$ 或 $B$ 的某个后代节点为条件。(cs.cmu.edu)

碰撞结构解释了为什么观测到某个结果，会使原本相互独立的变量变得相互依赖。在一个假设的警报模型中，入室盗窃和地震是可能触发警报的两个独立原因。一旦已知警报响起，地震发生的证据就可能降低推断出的入室盗窃概率，这种效应称为解释消除。反过来，不满足 d-分离并不保证变量之间一定存在依赖关系：某些特定的参数值可能引入额外的独立性。(cs.cmu.edu)

概率推断

推断是在纳入证据后，计算未知变量的分布。给定查询变量 $Q$ 和观测 $E=e$ ，一项典型任务是计算 $p(Q\mid E=e)$ 。这相当于在网络的因子化分布中应用贝叶斯定理。证据既可以沿着箭头方向更新概率，也可以逆着箭头方向更新概率；诊断性推断不必遵循图中的箭头方向。(cs.cmu.edu)

精确推断方法包括变量消元和联结树方法。前者将局部因子相乘，并对无关变量求和消去；后者则组织相关计算，以进行消息传递。这些方法利用分配律，避免构建完整的联合概率表。计算成本在很大程度上取决于消元顺序和树宽；即使网络表示很紧凑，精确推断也可能十分耗费计算资源。(cs.cmu.edu)

近似推断方法包括重要性采样和吉布斯采样。这些方法通过加权样本或反复进行条件采样来估计概率，而不是穷尽所有情况求和。其精度取决于采样投入，以及模型和证据的性质。(cs.cmu.edu)

从数据中学习

构建网络时，可以将专家知识与机器学习相结合。参数学习是在图结构固定的情况下估计局部分布。对于完整的离散训练数据，最大似然估计使用条件频数统计来估计参数。贝叶斯推断则将观测数据与参数的先验分布相结合。对于缺失观测或未观测变量，可以使用期望最大化算法等方法处理，不过其结果可能受初始化和局部最优解的影响。(arxiv.org)

结构学习选择的是图结构本身。基于约束的方法使用条件独立性检验；基于评分的方法搜索在某种统计准则下更优的结构；混合方法则结合这两种策略。随着变量数量增加，搜索所有可能的有向无环图通常并不现实，因此学习过程往往会限制候选父节点，或采用启发式搜索。贝叶斯评分可以通过结构的后验概率来比较不同结构。(arxiv.org)

不同的图可能蕴含完全相同的条件独立性。这些图具有马尔可夫等价性，因而仅凭观测数据，能够确定的箭头方向是有限的。因此，学到一个在统计上表现合适的网络，并不意味着识别出了唯一的因果结构。(arxiv.org)

因果解释与时间模型

因果贝叶斯网络增加了一些假设，将箭头与因果关系相联系，并将局部分布与在适当干预下保持稳定的机制相联系。观测到 $X=x$ 与通过外部干预将 $X$ 设为 $x$ 并不相同：后者改变了决定 $X$ 的机制。因此，要预测干预的效果，需要在普通概率因子分解之外引入因果假设。(microsoft.com)

动态贝叶斯网络表示连续时间步上的变量，通常采用重复的依赖结构。通过在时间上展开图，可以表示随时间发生的反馈，而不在图中产生有向环。隐马尔可夫模型是其中的一个特例，包含一系列隐藏状态，以及依赖于这些状态的观测。这些模型将贝叶斯网络推理扩展到时间序列和只能部分观测到的动态演化系统。(cs.cmu.edu)