图 像 信 息
[问题]
● 图像信息指什么？
● 什么是信息？
● 信息能不能定量？
图 像 的 信 息 熵
1、消息与信息
2、信息定义和熵
3、香农不等式
4、图像的信息熵
1、消 息 与 信 息
信源
用户
消 息
无用的
有用的
发送消息，产生事件
信 息
[引子]
事 件
收到某项核武器试验的电报
情形一
情形二
本来就知道试验是100％成功的，所以收到试验成功的电报是预料之中的事。电报未提供任何有益的概念和结论，因此可以说电报所含有的信息量几乎没有。
前几次试验都是失败的，对这次试验的成功的可能性无多大的把握，这时一封试验成功的电报将给期待消息的人们提供欣喜若狂的感觉，这时应该认为此消息所包含的信息量是巨大的。
[例子1]
事 件
同学告知家里寄钱来了
情形一
情形二
学生家里比较富裕，父母每个月都寄钱。当同学告诉他家里寄钱来了，他自己早就琢磨着汇款该到了。所以这个消息对他来说，没有一点惊喜的感觉。
学生家里比较困难，从未寄过钱给他。现在急需买台电脑用，特希望家里能寄钱来。所以当他听到有汇款的时候，一定是欣喜若狂，这个信息对他来说太重要了。
[例子2]
[分析]
在消息收到之前，人们处于某种不肯定的状态之中
在获得消息之后，消除了人们的某种不肯定的状态
存在不肯定性多少
消除不肯定性多少
获取信息量的多少
该消息的概率大小
概 率
不肯定性
信息量
相反
相同
2、信 息 定 义 与 熵
[思路]
建立事件的概率模型
推断不肯定性与概率的关系
得到信息的熵
举 例
[建模]
●设有某个信源的概率模型：
●模型有字符集：
●各元素的概率分布为：
●记作：
●例如前面的武器试验，只有两种结果：成功和失败，如果成功 的概率 ，失败 的概率 ，
则该概率模型为：
[推理]
假设不肯定性用字母 来表示。则字符 的不肯定性 是概率 的函数。记作：
字 符：
概 率：
不肯定性：
[推理]
显然， 必须满足以下两个条件：
● 相反性：当 时，
且 越小， 越大
● 相加性：若 的概率是 ， 的概率是 ，且相互独立，则 联合的概率为 ，而其不肯定性应满足：
可以定义：
[定义]
● 字符 的不肯定性或者信息量为：
● 平均信息量：各字符信息量的数学期望，称为熵：
● 当 时， ，单位比特
● 熵的实际上可以看成概率的函数：
● 和 可以作两种解释：事件发生之前，解释为不肯定性，事件发生之后，解释为获得的信息量
[举例]
学生食堂每天中午只有一种荤菜，今天做蹄膀的概率30％，做鸡腿的概率20％，做红烧肉的概率50％。可能买到荤菜的信息为：
买蹄 膀： =
买鸡 腿： =
买红烧肉： =
买荤菜的信息熵为：
H = =
3、香 农 不 等 式
[公式]
对任意的两个n维概率向量：
有下列不等式：
[证明]
这是一个经典的证明：
因为当 时，有： ，所以：
[思考]
因为当 时，未必有：
[延伸]
即存在最大的熵：
如果概率模型 是平均分布的，则有：
[举例]
0
信息熵
0
信息量
0%
0%
100%
概 率
情形三
信息熵
信息量
%
%
%
概 率
情形二
信息熵
信息量
50％
20％
30％
概 率
情形一
红烧肉
鸡 腿
蹄 膀
4、图 像 的 信 息 熵
[引子]
对于数字化的灰度图像，每一个象素的值在一个灰度范围之内。如下面的图像，灰度的取值在0～255之间。
[定义]
定义图像灰度概率为：
设图像的灰度集合为：
其中：
显然：
图像的信息熵：
[计算]
Clear ; close all; % 清窗口，清工作空间
im = imread(''); % 调入图像
his = imhist(im,256); % 计算直方图
sum = 0; % 求总象素数
for I = 1 : 256
sum = sum + his(I);
end
his = his / sum; % 计算象素概率
h = 0; % 计算图像熵
for I = 1 : 256
if his(I) ~= 0
h = h-his(I)*log2(his(I));
end
end
[结果]
H=
H=
[结果]
H=
H=
[问题]
● 如何证明香农不等式？
● 图像的直方图越平均，图像的熵越大。但是为什么对图像作直方图均匀化后，图像的熵反而变小？
● 是否有可能通过图像处理，增大图像的熵？
本课要掌握的内容：
