信道容量 · aiwiki.page

信道容量是通过通信信道可靠传输信息的根本极限。在信息论中，其操作性定义为：随着信道使用次数增加，译码错误概率趋于零的编码方案所能达到的速率的上确界。容量取决于信道的统计特性及其输入所受的限制。通常以每次信道使用传输的比特数为单位；对于连续时间系统，则以比特每秒为单位。克劳德·香农在其 1948 年的论文《通信的数学理论》中，建立了这一概念的数学框架。(ocw.mit.edu)

数学定义

离散无记忆信道具有输入字母表 $\mathcal X$ 、输出字母表 $\mathcal Y$ 和转移概率 $W(y\mid x)$ 。这些转移概率给出了发送输入 $x$ 时观测到输出 $y$ 的条件概率。“无记忆”是指，在给定输入序列的条件下，输出的条件分布满足乘积形式：

W(y^n\mid x^n)=\prod_{i=1}^{n}W(y_i\mid x_i).

对于有限字母表，信道容量为

C=\max_{p_X} I(X;Y),

其中， $X$ 和 $Y$ 分别是输入和输出随机变量， $p_X$ 是输入的概率分布， $I(X;Y)$ 是二者的互信息。优化时，信道的转移规律保持不变，仅改变输入分布。采用以 2 为底的对数时，

I(X;Y)= \sum_{x,y}p_X(x)W(y\mid x) \log_2\frac{W(y\mid x)} {\sum_{x'}p_X(x')W(y\mid x')}.

因此，容量衡量的是每次使用信道时，输出所能传达的关于输入的最大信息量。(ocw.mit.edu)

等价地，

I(X;Y)=H(Y)-H(Y\mid X),

其中， $H(Y)$ 是信息熵， $H(Y\mid X)$ 是条件熵。第一项衡量输出的不确定性；第二项衡量已知输入后仍然存在的不确定性。因此，仅使输出熵最大化通常是不够的。对于连续字母表或受约束的输入，通常将最大值替换为在所有允许的分布上取上确界。(ocw.mit.edu)

操作意义与编码定理

分组码将 $M$ 个可能消息中的每一个映射为长度为 $n$ 的输入序列。译码器根据接收到的序列估计所发送的消息。其信息速率为

R=\frac{\log_2 M}{n}.

有噪信道编码定理表明，对于有限离散无记忆信道，任何严格小于 $C$ 的速率，都可以由错误概率趋于零的一系列编码方案来逼近。反之，以高于 $C$ 的固定速率进行可靠传输是不可能的。容量是一个上确界：该定理一般不保证在恰好 $R=C$ 时，错误概率也能趋于零。(ocw.mit.edu)

纠错码引入具有特定结构的冗余，使不同消息即使受到噪声影响，仍然可以相互区分。可实现速率计算的是消息所含的信息量，而不是所传输的全部编码符号。可靠性是一种渐近性质，并不意味着任何一次有限长度的传输都能保证没有错误。有限码长、译码复杂度和时延还会带来容量数值本身之外的额外约束。(ocw.mit.edu)

基本信道模型

对于具有 $q$ 个不同输入符号、且输出能准确复现这些符号的无噪信道，

C=\log_2 q.

输入采用均匀分布时即可达到这一容量。因此，无噪二元信道每次使用可传输一个比特。如果所有输入对应的输出分布都相同，则输入与输出相互独立，容量为零。(ocw.mit.edu)

二元对称信道以概率 $p$ 独立地翻转每个传输的比特。其容量为

C=1-h_2(p), \qquad h_2(p)=-p\log_2p-(1-p)\log_2(1-p).

等概率输入可达到容量。当 $p=1/2$ 时，输出不包含任何关于输入的信息。当 $p=1$ 时，每个比特都必然被翻转，因此将输出取反即可恢复输入，容量仍为每次使用一个比特。(ocw.mit.edu)

二元擦除信道以概率 $1-\varepsilon$ 正确复现输入比特，否则输出一个专门的擦除符号。其容量为

C=1-\varepsilon.

与未被察觉的比特翻转不同，擦除会明确指出接收序列中哪个位置缺失了信息。由于这一差别，即使两种信道发生输出损坏的概率相同，其容量公式也不同。(ocw.mit.edu)

高斯信道与物理约束

对于实值加性高斯白噪声信道，

Y=X+Z,

其中，噪声 $Z$ 与输入独立，服从均值为零、方差为 $\sigma^2$ 的正态分布。在通过期望值表示的平均输入约束 $\mathbb E[X^2]\le P$ 下，容量为

C=\frac12\log_2\left(1+\frac{P}{\sigma^2}\right)

比特每次实值信道使用。均值为零、方差为 $P$ 的高斯输入可以达到这一上确界。输入约束至关重要：如果不限制输入功率，这一理想化信道的容量将没有上限。(ocw.mit.edu)

对于理想的连续时间带限高斯信道，相应的表达式为

C=B\log_2\left(1+\frac{P}{N}\right)

比特每秒。其中， $B$ 是以赫兹为单位的带宽， $P$ 是平均接收信号功率， $N$ 是该带宽内的噪声功率。二者之比为信噪比。这一公式以所指定的高斯噪声模型和功率约束为前提，并非适用于所有物理通信媒介的通用公式。(ocw.mit.edu)

计算与推广

对于给定的有限信道，互信息是输入分布的凹函数，因此容量求解属于凸优化问题。有时可以利用对称性得到解析解。否则，可使用布拉胡特–阿里本算法迭代改进输入分布，并以数值方式计算容量。(ocw.mit.edu)

讨论容量时，还必须明确具体的通信条件。有记忆信道未必满足上述单次使用信道的公式。无噪因果反馈不会增加离散无记忆信道的容量，但可以改善编码的其他性能。零错误容量提出了更强的要求：译码错误必须不可能发生，而不仅仅是发生的概率越来越小。对于多用户信道，应使用速率组合的可达区域来描述，而不是用单一的标量极限。(ocw.mit.edu)

参考来源

A Mathematical Theory of Communicationprinceton.edu
MIT6_441S10_lec08.pdf | Information Theory | MIT OpenCourseWareocw.mit.edu
441 Information Theory, Lecture 9ocw.mit.edu
Information Theory: Lecture Notes | MIT OpenCourseWareocw.mit.edu