第2章 信源与信息熵
信源的描述与分类
离散信源熵和互信息
离散序列信源熵
连续信源熵和互信息
冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的描述与分类
信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源
信源的基本特性是具有随机属性和概率统计特性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的描述与分类
分类
时间 离散 连续
幅度 离散 连续
记忆 有 无
三大类：
单符号离散信源
符号序列信源（有记忆和无记忆）
连续信源
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的描述与分类
描述：通过概率空间描述
单符号离散信源
显然有p(xi)0，
例如：对二进制数字与数据信源
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的描述与分类
连续信源
显然应满足pX(x) 0，
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的描述与分类
离散序列信源
以3位PCM信源为例
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的描述与分类
当p=1/2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
独立同分布信源
在离散无记忆信源中，信源输出的每个符号是统计独立的，且具有相同的概率空间，即有
p1(X1)=p(X1)=p(Xi),
则该信源是离散平稳无记忆信源，亦称为独立同分布(independently identical distribution，.)
信源。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的分类及描述
离散有记忆序列信源：当信源输出的随机矢量中各个分量之间不相互独立而可以是任意相关的,则称此类信源为有记忆信源。
布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。
若先取出一个球，记下颜色不放回布袋，再取第二个球。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
随机波形信源
用采样定理将波形信号转换成多维连续的信号:
时域采样：频带受限fm的时间连续函数f(t),不失真采样频率fs 2fm，若时间上受限0 t tB，采样点数为tB(1/2fm)＝2fmtB。可见，频率受限fm、时间受限tB的任何时间连续函数，完全可以由2fmtB个采样值来描述。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
随机波形信源
频域采样：时间受限于tB的频域连续函数，在0～2的数字频域上要采L点的条件是时域延拓周期LT tB，若频率受限fm，则采样点数L tB/T＝tBfs 2fmtB。
但是，从理论上说任何时间受限的函数，其频谱是无限的；反之，任何频带受限的函数，其时间上是无限的。
实际中，可认为函数在频带fm、时间tB以外的取值很小，不至于引起函数的严重失真。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
随机波形信源
所以，波形信号只要是时间上或频率上有限，都可通过采样变成时间上或频率上离散的连续符号序列。如果原来的随机过程是平稳的，那么采样后的随机序列也是平稳的。
一般情况下，采样得到的2fmtB个随机变量之间是线性相关的，也就是说这L＝2fmtB维连续型随机序列是有记忆的。因此随机波形信源也是一种有记忆信源。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
（4）马尔可夫信源
当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关。
齐次马尔可夫信源：与时间起点无关。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的分类及描述
马尔可夫信源
由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：
信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用符号条件概率表示p(xj/si)，状态转移概率表示为p(sj/si)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的分类及描述
马尔可夫信源
特别关心n-m=1情况，pij(m,m+1)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的分类及描述
马尔可夫信源
系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移概率矩阵为
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的分类及描述
马尔可夫信源
对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。
定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，pj称为平稳分布
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源的分类及描述
马尔可夫信源
定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj=p(sj)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
不可约性，对于任意一对I和j， 都存在至少一个k，使pij(k)>0.
非周期性，所有pij(n)>0的n中没有比1大的公因子。
定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
Eg. 一个相对编码器，求平稳分布
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态
00
01
10
11
1/2
0
1/4
0
1/2
0
3/4
0
0
1/3
0
1/5
0
2/3
0
4/5
S1(00)
S2(01)
S3(10)
S4(11)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
解：令各状态的稳态分布概率为W1，W2，W3，W4，可得方程组
解得稳态分布的概率为：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
信息量
自信息量
联合自信息量
条件自信息量
单符号离散信源熵
符号熵
条件熵
联合熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
信息
不确定性
信息的度量
随机性、概率
相互独立符合事件概率相乘、信息相加
熵
事件集的平均不确定性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
直观推导信息测度
信息I应该是消息概率p的递降函数
由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为
以2为底，单位为比特（bit)
以e为底，单位为奈特（nat) 1nat=
以10为底，单位为笛特（det) 1det=
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）信息量为：
定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
联合自信息、条件自信息与自信息间的关系
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
例2. 一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。
解：随机事件的概率空间为
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
单符号离散信源熵
定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
离散信源条件熵
定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
离散信源联合熵
定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
单符号离散信源熵
符号熵
条件熵
联合熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
联合熵、条件熵与熵的关系
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
单符号离散信源互信息
定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
单符号离散信源互信息
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
条件互信息量与联合互信息量
定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
条件互信息量与联合互信息量
定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
Eg1(p23) 设信源发出8种消息符号，各消息等概发送，各符号分别用3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息x4，用二进码011表示， 接收到每个二进制码元后得到有关x4信息。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
平均互信息量
其中
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
非负性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
互易性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
极值性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
凸性函数
当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数
当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
信息不增性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
熵的性质
非负性
对称性
确定性
香农辅助定理
最大熵定理
条件熵小于无条件熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
非负性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
对称性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
确定性
香农辅助定理
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
最大熵定理
条件熵小于无条件熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
平均互信息与熵的关系
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源熵与互信息
互信息量与熵的关系
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
离散无记忆信源的序列熵
离散有记忆信源的序列熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
离散无记忆信源的序列熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
离散无记忆信源的序列熵
平均每个符号熵（消息熵）
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
离散有记忆信源的序列熵和消息熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
Eg 求信源的序列熵和平均符号熵
0
1/8
7/9
2/11
3/4
2/9
9/11
1/8
0
a1
a2
a3
a3
a2
a1
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
离散有记忆信源的序列熵和消息熵
结论1 是L的单调非增函数
结论2
结论3 是L的单调非增函数
结论4
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
马氏链极限熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散序列信源的熵
Eg 求马氏链平均符号熵（三个状态）
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
连续信源的熵与互信息
幅度连续的单个符号信源熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
连续信源的熵与互信息
幅度连续的单个符号信源熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
连续信源的熵与互信息
波形信源熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
连续信源的熵与互信息
最大熵定理
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
连续信源的熵与互信息
最大熵定理
限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
冗余度
冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
冗余度
Eg. 计算英文字母冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
第二章复习 概念(1)
信息是可以定量描述的，可以比较大小。由概率决定；
对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；
可通过对信源的观察、测量获得信息，以减少对信源的不确定度；
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
概念(2)
考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降：
H(X)就是信源无失真时必需输出的最小信息量；
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
概念(3)
通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：
H(X/Y)=H(X)-I(X;Y)
信息通过系统传输，只会丢失信息，不会增加。丢失部分H(X/Y)是由噪声引起的。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
定义、计算公式、相互关系
自信息量、信源熵、相对熵
互信息、条件熵、联合熵
序列熵、平均符号熵、极限熵
冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
