信息论与编码
课程内容
信息论的基本问题—信息的度量
无失真信源编码定理—香农第一定理
信道编码定理—香农第二定理
限失真信源编码定理—香农第三定理
信源编码
信道编码
教学目标
香农信息论的基本理论、概念和方法；
信息的统计度量，离散信源，离散信道和信道容量
编码的理论和实现原理
信源编码与信道编码
教学重点
信息度量
信源描述
信道容量
纠错编码的理论及实现
参考书
1．信息论—基础理论与应用， 傅祖芸编，电子工业出版社，2001
2．信息论与编码，陈运编著，电子工业出版社，2002
3. 信息理论与编码，吕锋等编著，人民邮电出版社，2004
计分方式
最后期终考试成绩占80％
平时成绩占10％
作业：一次不交扣1分，无故缺席一次扣1分，迟到一次扣分
手机声响扣1分
严重违反课堂纪律，视情节轻重扣分
课程小结报告(800-1000字)占10%
绪 论
第一章
信息的基本概念
什么是信息?
信息：一个既复杂又抽象的概念
广义：消息、情报、知识
技术术语：计算机处理(通信传输)的对象—— 数据、文字、记录
科学名词：统计数学、通信技术
用严格的数学公式定义的科学名词，它与内容无关，而且不随信息具体表现形式的变化而变化，因而也独立于形式。
它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念。
什么是信息?
信息是指各个事物运动的状态及状态变化的方式。
人们从来自对周围世界的观察得到的数据中获得信息。
信息是抽象的意识或知识，它是看不见、摸不到的。
人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。
信息论和信息技术研究什么样的问题？
信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。
信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。
信息技术主要研究如何实现、怎样实现的问题。
信息论
信息论
一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。
信息论是在信息可以量度的基础上,研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识
信息、消息和信号
信息
是事物运动状态或存在方式的不确定性的描述。
消息
是指包含有信息的语言、文字和图像等
信号
是消息的物理体现。
在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。
香农信息的定义
信息的特征
信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。
接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；
信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；
信息可以产生，也可以消失，同时信息可以被携带、贮存及处理；
信息是可以量度的，信息量有多少的差别
例：气象预报
甲
乙
“甲地晴”比“乙地晴”的不确定性来的小
某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件，那它的不确定性就接近于零。
概率空间
概率空间
样本空间：
某事物各种可能出现的不同状态。
先验概率p(xi)：
选择符号xi作为消息的概率。
样本空间
概率测度
对xi 的不确定性可表示为先验概率p(xi)的倒数的某一函数。
自信息
互信息
后验概率p(xi | yj)
接收端收到消息yj后而发送端发的是xi 的概率
香农定义的信息
香农定义的信息概念在现有的各种理解中，是比较深刻的，它有许多优点。
它是一个科学的定义，有明确的数学模型和定量计算。
它与日常用语中的信息的含意是一致的。
定文排除了对信息一词某些主观上的含意
香农定义的信息也有其局限性，存在一些缺陷
定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。
没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。
信息论研究的对象、目的和内容
信息论研究的内容
狭义信息论：
主要研究信息的测度、信道容量以及信源和信道编码理论等问题。
一般信息论：
主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。
广义信息论：
不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题
香农信息论
压缩理论
有失真信源编码
无失真信源编码
率失真理论
压缩编码
等长编码
定理
变长编码
定理
最优码构成
Huffman码
Fano码
传输理论
有噪声
信道编码理论
码构成
纠错码
代数编码
卷积码
网络信道
网络信息理论
网络最佳码
保密理论
保密系统的
信息理论
保密码
香农信息论的科学体系
数字通信系统模型
信道
信源
信源编码
加密
信道编码
干扰源
信宿
信源解码
解密
信道解码
加密密钥
解密密钥
信源、信宿和信道
信源：发送消息的源
离散信源
模拟信源
信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述方法及性质。
信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。
信道：传输信息的物理媒介
信源编码器与译码器
信源编码器的作用
是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号；
同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。
信源编码器分为两类
一类是无失真信源编码,适用于离散信源或数字信号；
另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理
信源编码器与译码器
信源编码器的主要指标
是它的编码效率，即理论上能达到的码率与实际达到的码率之比。
一般来说，效率越高，编译码器的代价也将越大。
信源译码器的作用
是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。
信道编码器与译码器
信道编码
主要作用是提高信息传送的可靠性。
信道编码器的作用
在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力
信道编码的主要方法
增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。
信道译码器的作用
具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。
密码学研究的内容
如何隐蔽消息中的信息内容,使它在传输过程中不被窃听.提高通信系统的安全性；
将明文变换成密文,通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流；
但也有些密码要求占用较大的信道容量。
问题：能否将三种码(信源编码、信道编码和密码) 合成一种码进行编译？
提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降；
反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了有效性。安全性也有类似情况
编成密码,有时需扩展码位,这样就降低有效性；有时也会因失真而使授权用户无法获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。
从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。
这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。
信息论研究的内容
1、通信的统计理论研究
主要研究利用统计数学工具分析信息和信息传输的统计规律。
其具体内容有：
信息的测度；
信息速率与熵；
信道传输能力—信道容量。
信息论研究的内容
2、信源的统计特性
主要包括
文字(如汉字)、字母(如英文)的统计特性；
语音的参数分析和统计特件；
图片及活动图像(电视)的统计特性；
其他信源的统计特性。
信息论研究的内容
3、编码理论与技术的研究
有效性编码：
提高信息传输的有效率，主要针对信源的统计特性进行编码，也称信源编码。
抗干扰编码：
提高信息传输的可靠性，主要针对信道统的计特性进行编码；也称信道编码。
信息论研究的内容
4、提高信息传输效率的研究
功率的节约；
频带的压缩；
传输时间的缩短，即快速传输问题。
5、抗干扰理论与技术的研究
各种调制制式的抗干扰性；
理想接收机的实现
6、噪声中信号检测理论与技术的研究
信号检测的最佳准则；
信号最佳检测的实现。
信息论的形成和发展
Claude Shannon (1916-2001)
“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(Claude )在他的惊世之著《通信的数学理论》中的一句铭言。
香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。
香农因此成为信息论的奠基人
香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。
在这两篇文章中,香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。
两篇文章成了现在信息论的奠基著作。
香农的成就轰动了世界,激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来越大。不仅在电子学的其他领域,如计算机、自动控制等方面大显身手,而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香农本人所研究和意料的范畴,即从香农的所谓“狭义信息论”发展到了“广义信息论”。
信息论的形成和发展
进入20世纪80年代以来,当人们在议论未来的时候,人们的注意力又异口同声地集中到信息领域。
按照国际一种流行的说法,未来将是一个高度信息化的社会。信息工业将发展成头号工业,社会上大多数的人将是在从事信息的生产、加工和流通。
这时人们才能更正确地估价香农工作的全部含义
信息论这个曾经只在专家们中间流传的学说,将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。
目前信息论的主要
研究成果
信息论的主要研究成果
语音信号压缩
长途电话网标准
1972年CCITT 标准中的 64kbit/s，
1995年 CCITT G. 标准中的 kbit/s。
移动通信中
1989年GSM标准中语音编码速率为 kbit/s
1994年在为半码速GSM研究的VSELP编码算法中，码速率为 kbit/s
军用通信
美国NSA标准的速率在1975年已达 kbit/s
目前在实验室中已实现600bit/s的低速率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限
信息论的主要研究成果
图像信号压缩
图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便 。
1989年 CCITT提出电视电话/会议电视的压缩标准,其压缩比达到25:1到48:1左右
1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24:1
在运动图像方面,运动图像专家组继成功定义了MPEG-1和MPEG-2之后,于1993年7月开始制订全新的MPEG-4标准。随着MPEG-4标准的不断扩展,它不但能支持码率低于64kbit/s的多媒体通信,也能支持广播级的视频。
信息论的主要研究成果
降低信息传输所需的功率
在远距离无线通信,特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。
正是在这个领域信息论获得了它第一批令人信服的成果。60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施
信息论的主要研究成果
计算机网中数据传输可靠性的保证
在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。
一般情况下，局域网中的差错率在10-8左右,广域网中的差错率在10-3～10-5。这样高的差错率在实际应用中是无法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。
差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。
课程安排
绪论
信源与信源熵
信道与信道容量
信息率失真函数
信源编码
信道编码
加密编码
学时2
10
4
2
6
10
数字通信系统模型
信道
信源
信源编码
加密
信道编码
干扰源
信宿
信源解码
解密
信道解码
加密密钥
解密密钥
