2022/10/24 1
思维世界的发展，在某种
意义上说，就是对惊奇的不
断摆脱。
-爱因斯坦（美国）
2022/10/24 2
离散信道容量的一般计算方法
(1) 离散信道容量的计算方法
(2) 用拉格朗日乘子法求信道容量
(3) 一般离散信道容量计算步骤
(4) 举例
2022/10/24 3
(1) 离散信道容量的计算方法
• 对一般离散信道求信道容量，就是在固定信道条件下，
对所有可能的输入概率分布p(xi) ，求平均互信息的极
大值。
• 由于I(X;Y)是输入概率分布p(xi)的上凸函数，所以极
大值一定存在。
• 因为I(X;Y)是n个变量{p(x1),p(x2),…,p(xn)}的多元函数，
并满足 ，所以可用拉格朗日乘子法计算这个
条件极值。
2022/10/24 4
(2) 用拉格朗日乘子法求信道容量
• 引进一个新函数
其中λ为拉格朗日乘子，解方程组
可得一般信道容量C。
2022/10/24 5
• 将I(X;Y)的表达式代入()得
• 整理得
(2) 用拉格朗日乘子法求信道容量
2022/10/24 6
• 式()左边为平均互信息的极大值，即
(2) 用拉格朗日乘子法求信道容量
2022/10/24 7
(2) 用拉格朗日乘子法求信道容量
2022/10/24 8
(3) 一般离散信道容量计算步骤
• 一般离散信道容量对计算步骤总结如下：
2022/10/24 9
• 注意：
在第②步信道容量C被求出后，计算并没有结束，必
须解出相应的p(xi) ，并确认所有的p(xi)≥0时，所求的
C才存在。
在对I(X;Y)求偏导时，仅限制 ，并没有限
制p(xi)≥0 ，所以求出的p(xi)有可能为负值，此时C就
不存在，必须对p(xi)进行调整，再重新求解C。
近年来人们一般采用计算机，运用迭代算法求解。
(3) 一般离散信道容量计算步骤
2022/10/24 10
(4) 举 例
[例]有一信道矩阵 ，求信道容量C。
解：解：
2022/10/24 11
因为ε是条件转移概率p(y1/x2) ，所以0≤ε≤1，从而有
p(x1)≥0， p(x2) ≥0 ，保证了C的存在。
(4) 举 例
2022/10/24 12
多符号离散信道
如果在不同时刻有多个来自于同一信源的随机变量（多
符号信源）通过离散信道传输，称这种信道为多符号离散
信道。
多符号离散信道的数学模型
离散无记忆信道和独立并联信道的信道容量
2022/10/24 13
多符号离散信道的数学模型
多符号离散信道定义
定义：多符号离散信源X =X1X2…XN在N个不同时刻分别通过单
符号离散信道{X P(Y/X) Y}，则在输出端出现相应的随机序列Y
=Y1Y2…YN，这样形成一个新的信道称为多符号离散信道。
由于新信道相当于单符号离散信道在N个不同时刻连续运用了N
次，所以也称为单符号离散信道{X P(Y/X) Y}的N次扩展。
多符号离散信道数学模型
设信源矢量X的每一个随机变量Xk(k=1,2,…,N)均取自并取遍于信
道的输入符号集{x1,x2,…,xn} ，则信源共有nN个不同的元素
ai(i=1,2,…,nN)。
多
符
号
离
散
信
道
2022/10/24 14
该信源通过多符号离散信道{X P(Y/X) Y}后，相对于每一个ai，信
道输出端输出一个相应的、由N个符号组成的输出符号序列bj。
多符号离散信道的数学模型
多
符
号
离
散
信
道
多符号离散信道/单符号离散信
道的N次扩展信道数学模型如
图所示。
它的输入输出关系可表示为
信道矩阵：
2022/10/24 15
单符号离散信道的N次扩展信道的数学模型
单符号离散信道的N次扩展信道数学模型如图所示
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 16
单符号离散无记忆信道与其N次扩展信道传递概
率之间的关系
无记忆性：离散信道在时刻k的输出随机变量Yk只与时刻k的输入
随机变量Xk(k=1,2,…,N)有关，与k时刻之前的输入随机变量
X1X2…Xk-1和输出随机变量Y1Y2…Yk-1无关。
无预感性：k时刻之前的输出随机变量序列Y1Y2…Yk-1只与k时刻
之前的输入随机变量序列X1X2…Xk-1有关，与以后的第k时刻的输
入随机变量Xk无关。
离散无记忆信道的N次扩展信道
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 17
离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应
的单符号离散无记忆信道的传递概率的连乘。
离散无记忆信道的N次扩展信道既是无记忆的，又是无预感的。
即输出随机变量Yk只与对应的输入随机变量Xk有关。
离散无记忆信道的N次扩展信道的数学模型可以用下图表示
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 18
单符号离散无记忆信道与其N次扩展信道平均互
信息之间的关系
离散无记忆信道N次扩展信道两端的平均互信息为
I(X;Y)=H(Y)－H(Y /X)
平均互信息公式
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 19
第k个随机变量Xk单独通过单符号离散信道时的平均互信息
N个输入、输出变量的平均互信息之和为
上两式相减得
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 20
当且仅当信源X =X1X2…XN无记忆，或者说信源X是离散无记忆信源
X的N次扩展信源XN =X1X2…XN时，即
即输出端各Yk(k =1,2,…,N)相互独立。
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
结论1：离散无记忆信道的N次扩展信道的平
均互信息，不大于N个随机变量X1X2…XN单
独通过信道{X P(Y/X) Y}的平均互信息之和。
2022/10/24 21
这时有
结论2：离散无记忆信道的N次扩展信道，当输入端的N个
输入随机变量统计独立时，信道的总平均互信息等于这N
个变量单独通过信道的平均互信息之和。
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 22
单符号离散无记忆信道与其N次扩展信道信道容
量之间的关系
由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符
号集Xk∈{x1x2…xN}(k=1,2, …,N) ，并具有相同的概率分布，而
且都通过同一个离散无记忆信道[X P(Y/X) Y] ，
信道输出端随机变量序列中的随机变量Yk(k=1,2, …,N)也取自同
一符号集并具有相同的概率分布，而且相互统计独立。
所以 I(Xk; Yk)= I(X; Y)
结论：离散无记忆信道的N次扩展信道，如果信源也是离散无
记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散
无记忆信道平均互信息的N倍。
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 23
结论的说明：因为离散无记忆信道N次扩展信道可以
用N个单符号离散信道来等效，这N个信道之间没有
任何关联关系，若输入端的N个随机变量之间也没有
任何关联关系的话，就相当于N个毫不相干的单符号
离散信道在分别传送各自的信息，所以在扩展信道的
输出端得到的平均信息量必然是单个信道的N倍。
用C表示离散无记忆信道容量，用CN表示其扩展信道
容量，
CN=NC
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 24
独立并联信道
独立并联信道/独立并列/独立平行/积信道：输入和输出随
机序列中的各随机变量取值于不同的符号集，就构成
了独立并联信道。是离散无记忆信道的N次扩展信道的推广。
输入随机序列X=X1X2…XN ，Xk∈{x1k,x2k,…,xnk}
输出随机序列Y=Y1Y2…YN ，Yk∈{y1k,y2k,…,ynk}
N个独立并联信道的容量CN
第k个单符号离散无记忆信道的信道容量Ck
当输入端各随机变量统计独立，且每个输入随机变量Xk
(k=1,2, …,N) 的概率分布达到各自信道容量Ck(k=1,2, …,N)的
最佳分布时，CN达到其最大值：
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 25
独立并联信道推广到更一般情况：
输入各随机变量不但取值于不同的符号集，而且各集合的元素
个数也不相同；
输出随机变量也取值于不同的符号集合，各集合的元素个数也
不相同；
这种更一般的信道可得到与上述类似的结论。
可以把N个变量的独立并联信道看成是离散无记忆
信道的N次扩展信道的推广，也可以把离散信道的N次
扩展看成是独立并联信道的特例。
离散无记忆信道和独立并联信道的信道容量
多
符
号
离
散
信
道
2022/10/24 26
单路通信系统：不论是单符号的还是多符号的，都只有一个输入端
和一个输出端的信道称为单用户信道，相应的通信系统称为单路通
信系统。
多路通信系统：为了提高通信效率，通信网中的信道往往有多个输
入端和多个输出端，这种信道称为多用户信道，相应的通信系统称
为多路通信系统。
网络信息论/多用户信息论：研究多路通信系统信息传递的理论。
实际的信道大部分是多用户信道。例如：计算机通信、卫星通信、
广播通信、有线电视等。
多址接入信道
广播信道
相关信源的多用户信道问题
多用户信道
2022/10/24 27
定义及信道模型
多址接入信道/多元接入信道：多个用户的信息用多个编码器分
别编码以后，送入同一信道传输，在接收端用一个译码器译码，
然后分送给不同的用户。这是有多个输入端但只有一个输出端
的多用户信道。
多址接入信道模型如下图所示
多址接入信道
多
用
户
信
道
2022/10/24 28
二址接入信道的信道容量
最简单的多址接入信道是只有两个输入端和一个输出端的二址
接入信道，如下图所示。
U1至U’1的信息率R1，信道容量C1
U2至U’2的信息率R2，信道容量C2
总信道容量C12
多址接入信道
多
用
户
信
道
2022/10/24 29
二址接入信道信息率和信道容
量之间满足如下条件
这些条件确定了二址接入信道
以R1和R2为坐标的二维空间中
的某个区域（图中阴影部分），
这个区域的界线就是二址接入
信道的容量。
多址接入信道
多
用
户
信
道
当X1和X2相互独立时有
max(C1,C2)≤C12≤C1+C2
2022/10/24 30
多址接入信道的信道容量
二址接入信道的结论很容易推广到多址接入信道；
多址接入信道参数
多址接入信道数N
第r个编码器的信息率为Rr
相应的信道容量为Cr；
信道总容量为CΣ
多址接入信道
多
用
户
信
道
2022/10/24 31
当输入各信源独立时有
多址接入信道
多
用
户
信
道
这些限制条件规定了一
个在N维空间的体积，这个
体积的外型是一个截去角
的多面体，多面体内是信
道允许的信息率，多面体
的上界就是多址接入信道
的容量。
2022/10/24 32
定义：具有一个输入和多个输出的信道称为广播信道。
最简单的广播信道是单输入双输出广播信道，如下图所示：
对于一般的广播信道，很难用系统的方法求出其信息率可达区域，
只在某些特殊的情况下，能够证明信道容量的容量界线是可以达
到的。
广播信道
多
用
户
信
道
2022/10/24 33
定义：由多个单用户信道组成的并联信道，传送相互有关的多路信
息的信道。这种信道有多个输入和多个输出，且输入端各信源之间
有关联关系。
两个相关信源用两个独立信道传送的多用户信道模型。
随着网络技术的发展，多用户信息论在近代信息论中越来越为大家
关注，不过许多问题还没有找到系统的解决方法。
相关信源的多用户信道问题
多
用
户
信
道
2022/10/24 34
定义：当信源与信道连接时，若信息传输率达到了信道
容量，我们称此信源与信道达到匹配。否则，认为信道
有剩余。
信道冗余度定义：
信道冗余度＝C-I(X;Y)
C表示该信道的信道容量，I(X;Y)表示信源通过该信道
实际传输的平均信息量。
信道相对冗余度＝
• 一般通信系统中，信源发出的消息（符号）必须转换成适合信道传
输的符号（信号）来传输。对于离散无损信道，如何进行转换，才
能使信道的信息传输率达到信道容量，达到信源与信道的匹配呢？
－香农无失真信源编码定理。
信源与信道的匹配
多
用
户
信
道
无失真信源编码就是将信源输出的无失真信源编码就是将信源输出的
消息变换成适合信道传输的新信源的消息变换成适合信道传输的新信源的
消息（符号）来传输，而使新信源的消息（符号）来传输，而使新信源的
符号接近等概分布，新信源的熵接近符号接近等概分布，新信源的熵接近
最大熵最大熵loglog22r,r,这样，信道传输的信息量这样，信道传输的信息量
达到最大，信道剩余度接近于零，使达到最大，信道剩余度接近于零，使
信源与信道达到匹配，信道得到充分信源与信道达到匹配，信道得到充分
利用。利用。
2022/10/24 35
连续信道的定义及数学模型
连续信道的信道容量
加性连续信道的信道容量
高斯加性连续信道的信道容量
平均功率受限的加性信道的信道容量
结论
连续信道
2022/10/24 36
连续信道定义：输入和输出随机变量都取值于连续集合
的信道。
信道传递特性：传递特性用条件转移概率密度函数p(y/x)
表示。
连续信道数学模型：{X p(y/x) Y}，如下图所示。
连续信道的定义及数学模型
连
续
信
道
2022/10/24 37
连续随机变量之间的平均互信息满足非负性，并可以证
明，它是信源概率密度函数p(x)的上凸函数。
连续信道的信道容量C：信源X等于某一概率密度函数
p0(x)时，信道平均互信息的最大值，即
一般连续信道的容量并不容易计算，当信道为加性信道
时，情况要简单一些。
连续信道的信道容量
连
续
信
道
2022/10/24 38
加性连续信道：噪声为连续随机变量N，且与X相互统计
独立的信道。
这种信道的噪声对输入的干扰作用表现为噪声和输入线
性叠加，即Y=X+N。如下图所示。
加性连续信道的信道容量
连
续
信
道
2022/10/24 39
对于加性连续信道，信道的条件概率密度函数等于噪声
的概率密度 p(y/x)=p(n)
这进一步说明信道的传递概率是由于噪声熵所引起的。
加性连续信道的信道容量
连
续
信
道
2022/10/24 40
加性连续信道的条件熵等于其噪声熵。说明Hc(Y/X)是由
噪声引起的，故称Hc(N)为噪声熵。
该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信
源的不确定性，即噪声信源的熵，所以称它为噪声熵。
加性连续信道的信道容量
连
续
信
道
2022/10/24 41
加性连续信道的信道容量：
加性噪声N和信源X相互统计独立，X的概率密度函数p(x)
的变动不会引起噪声熵Hc(N)的改变，所以加性信道的容
量C就是选择p(x) ，使输出熵Hc(Y)达到最大值，即
上式说明：加性连续信道容量取决于噪声N（即信道）的
统计特性和输入随机变量X所受的限制条件。（对于不同的
限制条件，连续随机变量具有不同都最大熵值。）
连
续
信
道
加性连续信道的信道容量
2022/10/24 42
高斯加性连续信道：
高斯噪声为N，均值为0，方差为σ2 ，噪声功率为PN；
信道的传递概率密度函数：p(y/x)=p(n)
如果把x看成是一个常数，则上式就变成了随y变化的高
斯函数，即当已知X=x时，Y也是一个高斯变量，均值为
x，方差为σ2。
高斯加性连续信道的信道容量
连
续
信
道
2022/10/24 43
因此高斯加性信道的容量为
连
续
信
道
高斯加性连续信道的信道容量
2022/10/24 44
输入概率密度函数p(x)是什么样的函数时，才能使Y呈高
斯分布？
设限定输入平均功率PX，噪声平均功率PN=σ2，
则输出随机变量Y的平均功率PY也是受限的。
根据最大连续熵定理，要使Hc(Y)达到最大，Y必须是一
个均值为0、方差为σ2Y= PY的高斯随机变量。
高斯加性信道中输入X和噪声N相互统计独立，且Y=X+N。
由概率论可知：若输入X是均值为0、方差为σ2X= PX的高
斯随机变量，即X的概率密度函数为p(x) ，则可以证明，
输出Y的概率密度函数就等于
平均功率受限的加性信道的信道容量
连
续
信
道
2022/10/24 45
即当输入随机变量X的概率密度是均值为0、方差σ2X的高
斯随机变量；
加性信道的噪声N是均值为0、方差为σ2的高斯随机变量
时；
输出随机变量Y也是一个高斯随机变量，其均值为0、方
差为σ2Y = σ2X + σ2 = PY 。
平均功率受限的加性信道的信道容量
连
续
信
道
2022/10/24 46
这时输出端的连续熵Hc(Y)达到最大值，即
(PX/PN)称为信道的信噪功率比。
平均功率受限的加性信道的信道容量
连
续
信
道
2022/10/24 47
设信道的频带限于(0,W)；
根据采样定理，如果每秒传送2W个采样点，在接收端可无
失真地恢复出原始信号；
香农公式：把信道的一次传输看成是一次采样，由于信道
每秒传输2W个样点，所以单位时间的信道容量为
(Ct：最大的信息传输速率/单位时间内)
结 论
连
续
信
道
2022/10/24 48
香农公式推出的条件：
连续消息是平均功率受限的高斯随机过程，平均功率为
PX。被取样后的样值同样呈高斯分布，样值之间彼此独
立；
噪声为加性WGN，平均功率为PN；
信号的有效带宽为W。
结 论
连
续
信
道
2022/10/24 49
香农公式说明：
当信道容量一定时，增大信道带宽，可以降低对信噪功
率比的要求；反之，当信道频带较窄时，可以通过提高
信噪功率比来补偿。
当信道频带无限时，其信道容量与信号功率成正比。
结 论
连
续
信
道
2022/10/24 50
香农公式的意义：
信道容量与所传输信号的有效带宽成正比，信号的有效
带宽越宽，信道容量越大；
信道容量与信道上的信号噪声比有关，信噪比越大，信
道容量也越大，但其制约规律呈对数关系 ；
信道容量C,有限带宽W和信噪比可以相互起补偿作用，
即可以互换。应用极为广泛的扩展频谱通信，多相位调
制等都是以此为理论基础。
当信道上的信噪比小于1时（低于0db），信道的信道容
量并不等于0，这说明此时信道仍具有传输消息的能力。
也就是说信噪比小于1时仍能进行可靠的通信，这对于
卫星通信、深空通信等具有特别重要的意义。
结 论
连
续
信
道
2022/10/24 51
香农公式的意义：
是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或
在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式
不能直接看出，但它隐含着否定的回答；
这说明此时的信道容量C趋于有限值，取决于发射功率和信道白色高斯
噪声的功率谱密度之比。尽管此时的C仍大于0，尚可进行通信，但由
于信道容量与发射功率成正比，已与加大信号有效带宽的初衷相悖，
因此用无限的带宽换取信道容量是否合算，值得推敲，况且物理上不
可能提供无限带宽进行通信。该结论实际上指出了信号有效带宽与发
射功率互换的有效性问题。信道容量是通信系统的最大信息传输速率，
通常是系统的设计指标，因此C往往是给定的。这时可以根据信道特性
来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。
结 论
连
续
信
道
2022/10/24 52
香农公式的意义：
香农公式是在噪声为加性WGN情况下推得的，由于白
色高斯噪声是危害最大的信道干扰，因此对那些不是白
色高斯噪声的信道干扰而言，其信道容量应该大于按香
农公式计算的结果。
结 论
连
续
信
道
2022/10/24 53
信道编码定理：若有一离散无记忆平稳信道，其容量为C，
输入序列长度为L，只要待传送的信息率R<C，总可以找到一种编
码，当L足够长时，译码差错概率Pe<ε，ε为任意大于零的正数。
反之，当R>C时，任何编码的Pe必大于零，当L→∞，Pe→1。
信道编码定理说明：同无失真信源编码定理类似，信道编
码定理也是一个理想编码的存在性定理。它指出信道容量是一个
临界值，只要信息传输率不超过这个临界值，信道就可几乎无失
真地把信息传送过去，否则就会产生失真。
连续信道也有类似结论。
信道编码定理
2022/10/24 54
香农第二定理指出，若R<C，则存在某种编码可以使传输错误概
率任意小；反之，若R>C，则可以使传输错误概率任意小的编码
不存在。
它从理论上证明平均错误译码概率Pe趋于零、信道信息传输速率R无
限接近于信道容量C的抗干扰信道编码是存在的。
但从实用观点来看，理论的证明尚不能令人满意。因为在证明的过程
中是完全“随机地”去选择一个码。这个码是完全无规律的，因此，
就无法具体构造这个码，也就无法实现和应用。但人们在理论指导下，
赋予码以各种形式的代数结构，出现了代数编码、卷积码等。
平均误码率Pe：指接收的错误符号数与接收的总符号数的比值，
这里的错误符号是指无论用什么方法都不能纠正的那些码。在工
程上， Pe通常指二进制信道的误比特率，有时也称误码率。
信道编码定理的应用
2022/10/24 55
从编码的角度来看，平均误码率与信道编码的码字长度N有关，同
时也与信道上所传消息的信息传输速率R有关，因此可以建立它们
之间的函数关系，即Pe ＝f[N,R]，其中的一种表示如下：
Pe ＝exp[-N·Er(R)]
其中Er(R)是一个人为设置的函数，称为可靠性函数，它仅与信道有关，是R的函数。
其值越大， Pe越小，可靠性越高。
由上式可知，要减少误码率Pe就应当增大码长N或增大可靠性函数
Er(R) 。而对于同样的信息传输速率，信道容量C大者其可靠性函
数肯定越大；对于同样的信道容量C,R小者其可靠性函数Er(R)则大。
因此，想增大Er(R)就要加大信道容量C或减少信息传输速率R。
鉴于以上分析，可采取以下措施来减少误码率：①增大信道容量C;②减小
信息传输速率R;③增加码长N。
信道编码定理的应用
当前，通过增加码长当前，通过增加码长NN来提高可靠性来提高可靠性
已经成为纠错编码的主要途径之一。已经成为纠错编码的主要途径之一。
它实际上是用设备的复杂度来换取它实际上是用设备的复杂度来换取
可靠性的，从这个意义上说，妨碍可靠性的，从这个意义上说，妨碍
数字通信系统性能提高的真正限制数字通信系统性能提高的真正限制
因素是设备的复杂性。因素是设备的复杂性。
2022/10/24 56
信道达到充分利用
时，输入和输出符号
的概率分布唯一吗？
2022/10/24 57
课堂练习
• 设在平均功率受限高斯加性噪声连续信道
中，信道带宽为3KHZ，又设（信号功率＋
噪声功率）/噪声功率＝10db。
(1)试计算该信道传送的最大信息率（单位
时间）
(2)若上述功率信噪比降为5db，要达到相同
的最大信息传输率，信道带宽应是多少？
（log210=）
2022/10/24 58
解答：(1)平均功率受限高斯加性连续信道，W为
3KHz,
10log10(1+PS/PN)=10 1+PS/PN =10
2022/10/24 59
Any Questions！
