信息论与编码
教师： 向强
手机：13699062690
E_mail: xqiang_0426@
西南民族大学电信学院
SWUN
主要参考文献
《信息理论与编码》 姜丹、钱玉美编著 中国科技大学出版社 1992版
《信息论—基础理论与应用》 傅祖芸编著 电子工业出版社 2001年版
《信息论与编码方法》西南交通大学勒蕃教授著
《信息论与编码》陈运、周亮、陈新编著 电子工业出版社
需具备的相关数学知识：
概率与统计理论
矩阵理论
需了解的相关通信方面知识：
通信原理
第一章 引言
第一节 信息的一般含义
信息的重要性：当代文明的“三大支柱”
信息科学、材料科学、能源科学
信息的认识
1928年美国数学家哈特莱（Hartley）在《贝尔系统电话杂志》发表题为“信息传输”的论文，认为“信息是选择的自由度”。
1948年，美国数学家香农（）在《贝尔系统电话杂志》发表题为“通信的数学理论”的长篇论文，认为“信息就是一种消息”。
美国数学家、控制论的主要奠基人维纳(Winner)在1950年出版的《控制论与社会》一书中认为“信息是人与外界相互作用的过程中所交换的内容的名称》。
以上对信息的认识都不够准确，具有局限性。
信息的含义：
1. “信息”是作为通信的消息来理解的
信宿
信道
信源
图 通信的简化模型
2. 信息是作为运算内容而明确起来的
计算机
某种过程
输入信息
输出信息
补充信息
图 计算机的运算或控制机理
3. 信息是作为人类感知的来源存在的
信息论的建立
作为人类活动中最为普遍的现象之一，人们希望信息的传递与交换能够又多、又快、又好、又经济，希望对信息进行定量分析 。
1924年奈奎斯特在着手进行影响电报传递速度时，就察觉到信息传输速度与频带宽度有关系。
第二节 信息论的基本思路
1928年，哈特莱用概率的观点来分析信息传输问题，他指出，如果用D 个不同符号构成字，每个字数包括N个符号时，共可以组成个不同的字，则信息的数量。
1948年，仙农发表了一篇《通信的数学理论》，标志着信息论的正式诞生。第一次提出了信息量的定义，并在离散信道的信息传输容量的研究方面做出了卓越的贡献
维纳提出的统计理论、滤波理论成为信息论的一个重要分支。
狭义信息论（香农信息论）
1948年 香农（信息论奠基人）发表了题为“通信的数学理论”的论文。
运用通信技术与概率论、随机过程、数理统计的方法系统讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论：
阐明通信系统传递的对象就是信息
对信息给予科学的定量描述
提出了信息熵的概念
1. 形式化假说
“消息”与“信息”
消息：以文字、语言、图象、图表等形
式，对客观物质运动状态、人的思维状
态的表述。
形式、语义、语用
通信的功能：
表述
精确
信息—“通信的消息”—形式
2. 非决定论观点
通信的原因：① 对方不知道
② 本人有疑问
“不知道”、“有疑问” → 知识上的“不确定性”
通信对象的一般特性
统计特性
数学工具
概率论与数理统计
3. 不确定性
信息：数量上等于通信前后“不确定性”的
消除量（减少量）。
“不确定性”
“不确定性”是概率的某一函数 f(p(x))
“狭义信息量”（I(x) “不确定性”的消除量）也一定可以
用概率的某一形式表示： I(x)=f(p(x))
→“多种结果的可能性”
→用概率来度量
第三节 信息论研究的对象、目的和内容
1. 通信系统的一般模型
信源
编码器
信道
译码器
信源
噪声源
图 通信系统模型
信号
信号+干扰
干扰
由于互联网的建立和发展，对安全和保密的要求
信 源
信源编码
信道编码
信 道
信道译码
信源译码
信 宿
加密编码
加密译码
噪声源
图 信息传输系统模型
实际上数字信息传输系统或存储系统的模型P3-图1—3及其各部分的作用和特点（P3—P5有各个部分的解释）
2. 信息论的研究目的
（1）可靠性
（2）有效性
（3）保密性
3. 信息论的研究内容
（1）狭义信息论：主要研究信息的测
度、信道容量以及信源和信道编码理论
等问题。
香农信息论
压缩理论
有失真信源编码
无失真信源编码
率失真理论
压缩编码
等长编码
定理
变长编码
定理
最优码构成
Huffman码
Fano码
传输理论
有噪声
信道编码理论
码构成
纠错码
代数编码
卷积码
网络信道
网络信息理论
网络最佳码
保密理论
保密系统的
信息理论
保密码
图 香农信息论的科学体系
（2）一般信息论：主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。
（3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。
信息论与编码理论的关系
信息论的发展和编码理论的发展始终是相互依赖、相互促进的，实际上，在信息技术的各个环节----提取，采集，发送，传递，接收，检测，量度，变换，存储，显示和处理中，都有不同形式和不同用途的编码方法。
第四节 模拟信号的数字化以及数字信号的类型
模拟信号：又称连续信号，其特点是信号电压（电流）的取值是连续的时间函数。如话音信号，摄像管发出的图象信号等，不适合于在数字式计算机系统中进行处理和存储。
数字信号：
只能有有限个离散上的取值，如电报符号和遥控指令。
模拟信号转化数字化的方法：脉冲编码调制pcm,增量调制△m，差分脉码调制△cm等。
3.模拟信号数字化的基本原理及步骤：
以应用很广的PCM方式为例：P5图1-4
（包括抽样、量化和编码三个过程）
奈奎斯特抽样定理：当抽样周期ts=1/2w时，抽样的样值脉冲序列包含有连续信号f（t）的全部信息，Ts-----奈奎斯特抽样间隔。
例：CCITT规定，语音信号包括保护频带在内共4000HZ，所以语音抽样频率定为8000HZ 。如：彩色电视机信号带宽6MHZ，采样频率为
4、数字信号的类型（P8图1-5， P9图1-6）
1）不回零（NRZ）信号
L型：1=高电平，0=低电平
M型：1=间隔开始处有跃变，0=无跃变
S型：1=无跃变，0=间隔开始处有跃变
特点：容易实现，带宽利用好，M和S型是差分码；有直流成分，无同步能力。
2）回零（RZ）信号
1=间隔的前一半有脉冲；0=无脉冲
特点：信号简单，易于实现；存在直流成分，对带宽要求高。
双相信号
L型（Manchester码）：1=间隔中点有从高电平向低电平的跃变，0=间隔中点有从低电平向高电平的跃变。
M型：1=间隔中点有跃变，0=间隔中点无跃变；此外，间隔开始处总有跃变。
S型：1=间隔中点无跃变，0=间隔中点有跃变；此外，间隔开始处总有跃变。
差分曼彻斯特型： 1=间隔开始处无跃变， 0=间隔开始处有跃变；此外，间隔中点处总有跃变
特点：无直流成分，有利于差错检测
延迟调制信号
双极性回零信号
多电平信号波形
5.信息传输速率
每秒钟传递的信息量码元数目，单位为比特/秒。如：带宽为6MHZ？电视信号，抽样频率为，每个量化样值按9bit编码，则编成二进制码的传输速率为：
*9=
6、码元传输速率
每秒钟传送的码元数目，单位为波特。若某信息系统每秒钟传送50个四电平码元，则该系统的码元传输速率为50B，由于它每一个码元对应于二进制的两位，也就是每一个码元含有2bit的信息量，则其信息传输速率为50*2=100bit/s
7、数字信号的调制：
幅度、频率、相位调制
SWUN
SWUN
