信息论课程总结
信息论的基本概念与术语
信号，消息，数据，知识，情报。
信息的定义。（香农信息）
信息的主要特征。
信息的重要性质。
信息的分类。
信息技术的基本内容。
思考题:
信息是什么？
信息的基本特征是什么？
信息与信号、消息、数据、知识、情报有那些
差别？
怎样进行信息分类？
信息技术的 “四基元”是什么？
为什么说数学是信息科学的基础？
信息量、熵和不确定度：
自信息量、条件自信息量、联合自信息量、互
信息量。
不确定度。
熵、条件熵、联合熵、平均互信息。
应用：
如何利用它们的性质和相互关系计算各种
信源、随机变量和事件的相应信息度量 。
两个基本定理：
最大熵定理。
信息不增原理。
几种研究对象：
离散单符号信源。
离散无记忆序列信源。
离散有记忆序列信源。
（主要是马尔可夫信源）
连续信源。
需掌握的重点：
各种定义、概念的实际含义。
各种信息量和熵的计算方法。
难点：
条件熵、联合熵和平均互信息量的计算。
序列熵的计算。
马尔可夫信源熵的计算。
马尔可夫信源熵的计算方法：
根据题意画出状态图，判断是否是齐次遍历的
马尔可夫信源。
写出状态转移概率矩阵，计算状态稳定后的极
限概率分布。
根据状态转移概率矩阵和极限概率分布，计算
信源的极限熵。
信道的信息传输率:
由于在平均意义上,一个符号流经信道的平均
信息量为I(X;Y),所以,信道的信息传输率为:
R=I(X;Y)=H(X)-H(X|Y) bit/符号
若平均传输一个符号的时间为t秒,则信道每秒
众平均传输的信息量为:
Rt=I(X;Y) /t bit/s
定义：信道容量C
C＝max I(X；Y）＝max [ H(X)-H(X/Y)]
=max [ H(Y)-H(Y/X)]
P(Xi) P(Xi)
P(Xi)
P(Xi)
信道最大信息传输速率
离散无噪信道
（一一对应的无噪信道）
此时，H(X/Y)=0
此时，C = max H(X) = log n
例：二元对称信道BSC（Binary Symmetric Channel）
BSC的信道容量为：
离散信道容量的一般计算办法；
连续信道的信道容量。
复习思考题：
随机事件的不确定度和它的自信息量之间的关系及
区别？
单符号离散信源的数学模型，自信息量、条件自信
息量、联合自信息量的含义？
互信息量的性质？含义？分别从输入端、输出端和
系统总体来理解互信息量的含义。
各种熵（信源熵，条件熵，联合熵（共熵），等）
的含义及其关系。
熵的基本性质与定理及其理解？
平均互信息量的定义及物理意义？疑义度及噪声熵
？
平均互信息量的性质及理解？
最大离散熵定理。
数据处理定理及其含义。
信源的种类（详细分类）。
离散平稳信源的定义，平均符号熵，极限熵的定义，
含义与理解。
马尔可夫信源的定义，含义及其极限熵？
连续信源的熵的定义？
几种特殊连续信源的熵？
信道容量的定义与计算办法。
例：
若你在不知道今天是星期几的情况下，问你的朋
友“明天是星期几？”，从答案中能获得多少信
息量？如果你在已经知道今天是星期四的情况下，
提出同样的问题，能从答案中获得多少信息量？
解：
设事件A为：不知道今天是星期几的情况下，问 “明天是
星期几？”的答案。
设事件B为：知道今天是星期四的情况下，问 “明天是星
期几？”的答案。
则：P(A)=1/7, P(B)=1
I(A)=log27≈ 比特
I(B)=log21＝0 比特
习题1：
从统计资料知道，男性中红绿色盲的发病率为
7％，女性为％，如果你问一个男同志，“
你是否是红绿色盲？”他的回答可能是“是”
，可能是“否”，问:两个回答各含有多少信
息量？平均每个回答含有多少信息量？，如果
是女同志，结果又如何？
习题2：
设有一个信源，它产生0，1序列的消息，它在
任何时间而且不论以前发出过什么符号，均按
P(0)=,P(1)=的概率发出符号。
（1）试问该信源是否是平稳的？
（2）计算
