-1-
基于信息论的镜头边界检测系统1
韩加亮 1，吴渝 2
重庆邮电大学计算机学院人工智能研究所，重庆（400065）
摘 要：提出了一种基于信息论的镜头边界检测系统(CBVRSYSTEM)。该系统实现了一种
基于信息论的镜头检测方法。通过分析视频帧之间的互信息量MI（Mutual Information）和
联合熵 JE（Joint Entropy）的变化，分别对镜头的突变和渐变进行检测。实验表明，该方法
能够有效的检测镜头突变，对镜头的淡入淡出也能有较好的检测。
关键词：信息论；突变；渐变；淡入淡出
中图分类号：TP37 文献标识：A
1. 引言
镜头分割亦称镜头边界检测是视频检索的关键技术，是实现视频检索的基础。视频中场
景内容复杂多样，镜头分割的方法也很多。尽管如此，镜头分割的技术还不是很成熟，所以
对于场景内容的表征方法、特征提取方法、特征的检测尺度以及稳健可靠的实用镜头分割方
法是目前比较热门的研究方向。
目前大部分的镜头分割技术可以分为基于压缩域与非压缩域两大类。其基本的思路就是通过
提取视频中的某种或几种特征，计算视频帧间的差异性，然后与给定的阈值或者采用自适应
阈值技术得到的阈值相比较，满足设定条件后就判断为镜头切换。这些方法虽然简单且计算
方便，但在镜头边界的检测上容易受到噪声和运动的影响，造成误检。
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码
学、数据压缩等问题的应用数学学科。镜头的变化本质上就是信息的变化，因此，研究人员
也采用了信息论的观点来进行镜头边界检测[1-3]。
作者所在项目组前期工作将粗糙集理论与基于内容视频检索相结合，取得了一系列的研
究成果：提出了一种基于 Rough Set的海量数据分割算法[4]；开发了一套基于 Rough Set的
视频预分类系统[5,6]，能有效的区分全局运动与局部运动信息；以及将 Rough Set理论应用到
关键帧的提取上[7]，取得了良好的效果；对视频的特征提取与选择方面也进行了大量的研究
工作；在镜头检测方面实现了文献[8]提出的一种双重滑动“窗口”算法，该算法能有效的区分
镜头的突变情况，但还无法对镜头渐变进行检测，这是项目组目前正在研究的方面。
本文旨在信息论的基础上，通过分析镜头之间的互信息量 MI（Mutual Information）和
联合熵 JE（Joint Entropy）的变化，分别对镜头的突变和渐变进行检测。在开发的用于镜头
检测的仿真系统上进行的实验结果表明，该方法能有效的区分镜头突变情况，对镜头渐变的
淡入淡出情况也能较好的检测。
2. 信息论简介
定义离散随机变量 xA 为 x 的取值空间，并且其中 x 1 2,A { , , }Na a a= ⋅⋅ ⋅ ⋅ 的每一个元素 ia
都存在一个发生概率 iP，i=1,2,…..N, 即存在集合 X 1 2P { , , }Np p p= ⋅⋅⋅ ⋅ 和 xA 对应且有 iP 0≥
1本课题得到新世纪人才计划(NCET)、重庆市自然科学基金资助项目(No. 2005BB2063)和重庆市教委科学技
术项目(No. 050509, )的资助。
-2-
且 ( ) 1
x
x
x A
P X
∈
=∑ 。用 H(X)表示信息熵，则 H(X)用数学式表示为：
（1）
这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息
中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如语言结构的冗余性以及
语言中字母、词的使用频度等统计特性。
对于集合 XA 和 YA ，称 H(X,Y)为集合 XA 和 YA 的联合熵 JE(Joint Entropy)。H(X,Y)的
数学式为：
（2）
当已知集合 的信息熵，定义集合 相对于集合 的条件熵为：
（3）
它表示在已知 X的基础上 Y所包含的信息量。
互信息MI(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关
性。两个事件 X和 Y的互信息定义为：
（4）
由于条件熵的引入，MI也可以表示为：
（5）
对于集合 XA 和 YA ，它们之间的MI可以表示为：
（6）
3. CBVRSYSTEM镜头检测系统
CBVRSYSTEM是一个用于视频镜头边界检测的仿真系统，该系统集合了目前比较常用
的视频边界检测算法，能够有效的对视频的镜头类型进行检测，其系统界面如图 1所示。本
文将主要介绍系统中基于信息论的镜头检测算法。
图 1 CBVRSYSTEM镜头检测系统界面图
The shot-boundary system of CBVESYSTEM
信息论中互信息MI表征了两个事件的相关性，也可以理解为一事件传递给另一事件的
2
x
H(X)=- ( ) log ( )
x
x X
A
p x p x
∈
∑
( , ) ( ) ( ) ( , )I X Y H X H Y H X Y= + −
Yx A
2
, ,
H(X,Y)=- ( ) ( | )
( , ) log ( , )
X Y
X
XY XY
x y A A
p x H Y X x
p x y p x y
∈
∈
=
= −
∑
∑
,
2
,
H(X,Y)=- ( , ) log ( , )
X Y
XY XY
x y A A
p x y p x y
∈
∑
( , ) ( ) ( | ) ( ) ( | )I X Y H X H X Y H Y H Y X= − = −
,
2
,
( , ) ( , ) log
( ) ( )
X Y
XY
XY
x y A A X Y
p
I X Y p x y
p x p y∈
= − ∑
-3-
信息量。这一特性使得它可以很方便的运用到镜头检测中来，我们可以通过分析某种或几种
特征从前一帧传到后一帧的信息量大小来判断是否发生了镜头变换。如果两帧之间的MI值
很大，则说明这两帧有着很大的相似性，很可能属于同一镜头。
算法介绍
我们以帧图像之间的颜色变化和像素差为特征。首先，对每个颜色分量，建立了一个颜
色变化矩阵，例如对第 t和和 t+1帧图像，定义其 R颜色分量的变化矩阵为 , 1[ ][ ]Rt tC N N+ ，
其中 N为自定义的颜色级别，从 0到 N-1。 , 1[ ][ ]Rt tC i j+ 表示在 t帧到 t+1帧的变化中，灰度级
从 i变换到 j的概率，其中 0 , 1i j N≤ ≤ − ，在这里，所谓灰度级在 t帧到 t+1帧的变化中从 i
变换到 j是指在两帧同样位置上的像素点，在 t帧上灰度级为 i而在 t+1帧上灰度级为 j。本
文取 N为 32。
在这个算法中，第 t帧和第 t+1帧的互信息 t,t+1I 和联合熵 t,t+1H 是通过计算颜色分量特征
和像素差特征的乘积获得的，以红色分量为例。
（7）
（8）
第 t帧和第 t+1帧三个颜色分量的互信息之和：
（9）
类似的，第 t帧和第 t+1帧三个颜色分量的联合熵之和：
（10）
则第 t帧和第 t+1帧总的信息量和联合熵为：
（11）
（12）
其中，DIFP表示第 t帧和第 t+1帧的像素差。
镜头突变检测
镜头突变可以通过分析互信息MI来检测。当MI值很小时，可以推断发生了镜头突变。
此时，MI值曲线产生了一个急剧的跳变，如图 2所示。
图 2 视频帧间互信息变化
Mutual information changes between video sequence
• R G B
t,t+1 t,t+1 t,t+1 t,t+1I =I +I +I
, 1 , 1 , 1 , 1H H H H
R G B
t t t t t t t t
•
+ + + += + +
•
t,t+1 , 1I I t t DIFP+= ×
t,t+1 t,t+1H H DIFP
•= ×
1 1
, 1
, 1 , 1 2
0 0 , 1 , 1
[ ][ ]
[ ][ ]log
[ ] [ ]
RN N
t tR R
t t t t R R
i j t t t t
C i j
I C i j
C i C j
− − +
+ +
= = + +
= −∑∑
1 1
, 1 , 1 2 , 1
0 0
H [ ][ ] log [i][ j]
N N
R R R
t t t t t t
i j
C i j C
− −
+ + +
= =
= −∑∑
-4-
通过设定合理的阈值，我们可以通过MI值的变换来检测的镜头突变的情况，通过实验
我们选定阈值在 之间效果较好。
淡入淡出检测
在镜头渐变过程中，帧图像是逐渐变化的，平滑的从一个镜头变化到另外一个镜头，在
这个过程，帧间的互信息会变小，在该算法中，一旦发现帧间的互信息MI值达到检测临界
值，则开始进行镜头渐变检测。
联合熵 JE表征了多个事件的共同信息量，一般来说，事件间的相关度越大,JE值就越小，
反之,JE 值就越大。镜头渐变比如淡入淡出中，随着时间的推移，帧图像亮度不断变亮或变
暗，图像内容逐渐消失，在整个变换过程中,JE值的曲线呈一个下凹的谷状曲线，如图 3,这
样就可以根据 JE值的变化来判断是否产生了镜头渐变。
图 3 淡入淡出 JE值的变化
Joint Entropy value changes
为了判断 t 帧和 t+1 帧是否处在渐变过程中，当其 JE 值 , 1H t t+ 低于阈值时，采用下面
的式子作为判断依据：
（13）
其中 T为预定义的阈值。当结果符合上式时，则认为 t帧和 t+1帧可能处在渐变过程中。
由于渐变过程是由多个帧组成的，当发现连续若干帧符合判断条件，则认为这里有渐变发生。
4. 实验结果分析
我们选择不同的视频类型作为实验数据，共包括 579个突变镜头和 23个渐变镜头，算
法的实现采用 VC++ 进行编程，为了衡量测试结果，我们定义：
检出率=正确检测数/(正确检测数+漏检数)
正确率=正确检测数/(正确检测数+误检数)
测试结果如表 1所示。总的来说，该镜头检测的方法取得了不错的效果，在保持对镜头
突变类型检测率很高的基础上，对淡入淡出的情况也取得了不错的结果。我们将这几种相同
的视频片段与系统中其他方法做了对比，由于其他方法只能针对视频的突变情况进行检测，
所以我们也只能针对突变镜头的情况与基于信息论的方法进行对比。对比实验结果如表 2
和图 4所示。
, 1 1,
1 2, 1
t t t t
t t t
H H
T
H H
+ −
− − −
− ≥−
-5-
表 1 测试结果
Test results
视频片段 《钾肥猫》 电影片段 广告
镜头突变数 273 194 112
镜头渐变数 15 5 3
检测突变数 272 192 109
检测渐变数 10 4 3
突变漏检数 15 11 6
渐变漏检数 5 2 1
突变误检数 14 12 8
渐变误检数 4 2 2
突变检出率 % % %
渐变检出率 % % 75%
突变正确率 % % %
渐变正确率 % % 60%
表 2 对比实验
Comparative experiment
突变检出率突变正确率
颜色直方图法 % %
像素法 % %
双重滑动“窗口” % %
基于信息论的方法 % %
图 4 实验结果
Comparison of the proposed shot-boundary detection method (the 2nd row) versus the algorithm [8]
分析试验结果，图 4中第一行的视频帧实际属于同一个镜头，从第二行中可以看出基于
信息论的方法对于镜头突变检测，达到了比较理想的效果。与本系统的其他方法比较的结果
来看，该基于信息论的镜头边界检测很好的克服了光照及对象运动的干扰。但是对于渐变，
还有比较大的提升空间，主要体现在渐变检测的误检率过高。我们分析了其造成误检、漏检
的原因。对于镜头突变，漏检率很低，但是有的一定误检率，造成误检的主要原因是光照的
突然变化和视频内对象的快速运动。镜头渐变上，漏检率和误检率都要高一些。造成误检的
原因主要是视频图像积呈现深色或浅色且缓慢变化。
5. 结论
本文直接将信息论方法运用到镜头检测中，相对于其它算法，检测效果较好且简单易于
-6-
实现，但在实验中，我们发也存在一些问题。首先，该算法是对帧图像的 RGB空间进行分
析，并且对每个颜色分量都要进行计算，计算量过大；另外由于在该算法中，是通过直接统
计帧与帧同一位置像素点灰度值的变化来获取帧间的互信息和联合熵的，这导致了该算法对
画面的变化和噪声十分敏感。这也是目前我们正要解决的问题。但从体来说，该算法还是能
够有效的针对一些视频检测出其镜头的类型，尤其对突变类型的检测能够取得较高的检测
率，并能够对淡入淡出这种渐变的类型进行检测，完善了项目组在镜头检测方面的研究，今
后我们将在检测性能方面做进一步研究，同时实现对其他渐变类型，例如融合情况的检测，
以及在压缩域中提取特征来进行镜头检测，这是我们下一步重点关注的方向。
参考文献
[1] Butz T, Thiran J. Shot boundary detection with mutual information[C]. In IEEE Int.
Processing, , 3:422-425.
[2] Cernekova Z, Pitas I, Nikou C. Information theory-based shot cut/fade detection and video summarization [J].
IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(1):82-91.
[3] Butz T, Thiran J. Shot boundary detection with mutual information[C]. In IEEE Int.
Processing, , 3:422-425.
[4] 覃政仁,吴渝,王国胤.一种基于 Rough Set 的海量数据分割算法. 模式识别与人工智能[J], 2006, 19(2):
249-256
[5] 袁哲,吴渝,王国胤,李健波.基于 Rough Set的视频分类的视频检索.计算机科学[J],2005, 32(8A): 20-23.
[6] Yuan Z, Wu Y, Wang G Y, Li J B. Motion-Information-Based Video Retrieval System Using Rough
Pre-classification. Lecture Notes in Computer Science, Book Transactions on Rough Sets V, 2006, 4100: 306-333.
[7] 王珽，吴渝，陈龙. 一个基于 Rough Set的关键帧提取方法.计算机科学[J],2006,33(11A):76-78.
[8] 陆海斌, 章毓晋. 一种高效的视频切变检测算法.中国图形图像学报,1999:805-810.
Shot-Boundary Detection System Based on Information
Theory
Han Jialiang1, Wu Yu2
Institute of Artificial Intelligence, Chongqing University of Posts and Telecommunications,
Chongqing, . China (400065)
Abstract
An information theory-based shot-boundary detection system is proposed. It can detect shot hard cut
and gradual transition respectively by analyzing the mutual information and joint entropy between
video frames. The experiment results show that the system can effectively detection shot hard cut and
have a satisfied result in fade in and fade out detection.
Keywords: information theory; hard cut; gradual transition; fade in-fade out.
作者简介：
韩加亮（1982-），男，硕士研究生，主要研究方向为多媒体技术；
吴渝（1970-），女，教授，博士，博士生导师，主要研究方向为数据挖掘、小波分析、多媒
体技术、信息处理，
