-1-
一种利用互信息量分组的
高光谱遥感图像波段选择算法
林林
河海大学计算机及信息工程学院,南京 (210098)
摘 要:高光谱图像往往有上百个波段,如何从中选择少数有效波段是高光谱图像分类研究
需要解决的关键问题之一。通过将基于互信息量的分组方法和遗传算法相结合,本文提出了
一种全新的高光谱图像波段选择算法。该算法显著地降低了运算复杂度,并且使分类的准确
率亦有所提高。基于公共测试数据集Washington DC Mall的实验结果证明了该算法在计算效
率和性能上的提升。
关键词:高光谱遥感;图像分类;互信息量;遗传算法
中图分类号:TP75
1.引言
高光谱遥感是近年发展起来的遥感探测技术,在军事、农业和矿藏开发等方面具有广泛
的应用前景。高光谱遥感数据由上百个光谱波段组成,包括可见光、近红外、中红外和热红
外波段等,它包含了丰富的空间、辐射和光谱三重信息,从而使在宽波段遥感中探测不到的
物质在高光谱遥感中可以被探测到[1]。但与此同时,大量的波段为高光谱遥感图像的分类带
来了难度。一方面,过多的波段显著地增加了分类算法的运算量,另一方面,波段之间的相
关性和冗余信息导致分类算法准确率的降低。这两点导致多光谱图像的数据处理方法已经不
再适用于高光谱遥感图像。
为克服高光谱遥感图像分类研究中的上述困难,必须在尽可能地保留高光谱遥感数据的
信息量的同时降低高光谱数据的维数,这是当前该领域的研究热点之一。已有的高光谱遥感
数据降维方法可分为两种:特征提取和特征选择。特征提取方法是对数据进行主成分分析、
小波变换等数学变换,将原始的特征空间投影到一个新的低维且优化的特征空间[ 2]。但经过
特征提取后的数据不再具有原始数据的物理意义,难以甄别出对分类结果起作用的特征,不
利于对分类器物理意义的理解。特征选择是通过一定的选择算法,从原始的特征中选取对分
类有效的特征。相比于特征提取方法,特征选择方法选取后的数据不改变原有特征的物理意
义,可以直观地观察到被选择的特征对分类结果所起的作用,便于对分类系统的性能进行更
好的理解,并在此基础上对系统进行优化。高光谱图像数据中每个光谱波段可被看成一个特
征,对这些波段进行特征选择的过程称为波段选择[3]。通过波段选择,从高光谱图像的大量
波段中筛选出对分类起主要作用的波段子集,去除冗余的或含有大量噪声的波段,可以降低
分类算法计算量并提高准确率。
已有的关于波段选择的研究可以分为两类:滤波(Filter)方法和封装(Wrapper)方法。
滤波方法利用波段数据固有的特性,基于信息熵、联合信息熵、协方差矩阵或类间可分性[4-6]
等进行波段选择。滤波方法具有算法复杂度低、方法直观的优点,但分类准确率较低。滤波
方法剔除波段的方式过于绝对,数据一经剔除后就不再参与分类运算。实际上,高光谱遥感
图像的波段选择是一个非常复杂的组合优化问题,对这一问题尚无法进行精确的数学描述,
一些含有较少信息量的波段反而可能对分类有重要的作用。对于该类问题,较为有效的方法
是通过搜索算法结合评估函数的方式来搜寻优化的波段子集,这种方式称为封装方法[7]。封
装方法能够得到比较高的分类准确率,但是由于反复的搜索和评估,计算量大,搜索时间长。
-2-
为克服封装方法的这一缺点,本文将分组的概念引入了封装算法,在进行波段搜索之前
先利用互信息量对波段进行分组,分组后使用搜索算法从每个组中选取一个波段,组成一个
新的波段子集。利用相关系数进行波段分组,并使用主成份分析或基于类间可分性的方法进
行波段提取,这类方法已经得到了一定的研究[8],但将分组引入到封装方法中,并基于互信
息量进行分组,本文尚属首次。将分组方法和遗传算法结合之后,大大缩减了遗传算法的搜
索空间,显著减小了计算量,而且避免了仅依赖单波段信息进行剔除的绝对性,从组合优化
的角度对问题进行求解。本文采用遗传算法作为搜索算法,使用支持向量机的分类结果作为
搜索结果判决条件,从而保证了筛选出的波段子集具有较高的准确率。基于公共测试数据集
Washington DC Mall的实验结果,证明了本文提出的基于分组的封装方法的低运算量和高分
类精度。
2.基于分组进行波段选择的高光谱遥感图像分类系统
本文所采用的分类系统包含数据预处理、波段选择、支持向量机分类器、波段分组和遗
传算法这五个模块。与文献[9]中所采用的系统不同的是,本系统中增加了波段分组模块,
这一模块将经过预处理后的波段数据进行分组,并根据分组的结果控制遗传算法的搜索过
程。遗传算法将待尝试的波段组合告知波段选择模块,波段选择模块选择相应的波段作为支
持向量机的输入,经支持向量机运算后得到分类准确率,作为适应度函数反馈给遗传算法。
经过反复迭代,最终得到优化的波段组合。波段分组和遗传算法模块仅在系统的训练阶段被
运行。
本系统中支持向量机模块采用径向基(RBF)核函数,具有所需参数少(仅需惩罚因子
C和核参数γ )、计算复杂度小的优点。
3.利用互信息量分组的波段选择算法
基于互信息量的波段分组方法
在图像处理研究领域,互信息量常用来衡量图像之间的相似性[10]。图像 A和 B可以分
别用向量X和Y来表示,其中
1 2[ , ,... ,... ]i Ix x x x=X
1 2[ , ,... ,... ]i Iy y y y=Y
ix 表示图像 A中第 i个像素点的灰度值, iy 表示图像 B中第 i个像素点的灰度值。则图像 A
和 B的互信息量为:
( ) ( ) ( )
1 1 1
( , ) ( ) log ( ) ( ) log ( ) ( , ) log ( , )
I I I
i i i i i i i i
i i i
I A B p x p x p y p y p x y p x y
= = =
= − − +∑ ∑ ∑
(1)
( )ip x 为灰度值 ix 在图像 A 中出现的概率, ( )ip y 为灰度值 iy 在图像 B 中出现的概率,
( , )i ip x y 为两者的联合概率。该概率值可以从图像的灰度直方图中获得。
在高光谱遥感图像的处理中,波段分组的根本原则是将包含有相近信息的波段分为一
组,而包含大量不同信息的波段分在不同组中。这样在随后的波段选择过程中,可以通过在
每组中选取具有代表性的波段,来消除冗余信息同时尽可能地保留原图像的信息量。因此波
段分组的关键是如何衡量波段之间的相似性。实际上,每个波段都可被视为一幅单独的图像,
所以互信息量是一种非常自然地而且具有坚实理论基础的相似性量度。基于此,在波段分组
-3-
方法的设计中我们制定了两条准则:
1, 每个分组中只包含一组相邻的波段。假设X、Y和Z为三个相邻的波段,可以将
X、Y和Z均分在一个分组中,但不可以将X和Z分在一个分组中,而将Y分在
另一个分组中。在高光谱遥感图像中,各波段所包含的信息总是连续渐变的,因此
这一准则是合理的,而且可以大大简化分组的流程。
2, 组与组之间的分界点取在相邻波段间的互信息量达到局部极小值处。这一准则可以
保证组内的波段尽可能相似,而组间保持较大的差异。
我们以 HYDICE光谱仪获取到的Washington DC Mall地区的图像信息为例,来具体说
明这种基于互信息量的波段分组方法。该图像共包含 191个波段,我们首先需要计算出所有
相邻波段之间的互信息量,构成一条互信息量曲线。为将波段分为 8组,我们只需找到互信
息量曲线上的最小的 7个局部极小值点,以这些点作为组之间的分界点。具体分组情况如表
1所示。为进一步说明该分组方法的合理性,我们对分界点处的图像变化情况进行考察。限
于篇幅,我们仅考察最小的两个局部极小值点,这两个点分别位于第 133波段和第 134波段
之间,以及第 102波段和 103波段之间。观察图 1,显而易见第 131、132和 133波段的图
像很近似,第 134、135和 136波段的图像很近似,和第 133和第 134波段具有明显的差异。
因此在第 133和 134波段之间进行分组是合理的。观察图 2也可以得到完全相同的结论。
表 1 Washington DC Mall图像波段分组
Tab 1 The Groups Setting for the Image of Washington DC Mall
组别 组 1 组 2 组 3 组 4 组 5 组 6 组 7 组 8
波段范围 1至 38 39至 56 57至 72 73至 86 87至 102 103至 133 134至 140 141至 191
图 1 第 133、134波段前后图像变化情况
Fig 1 The Images around Band 133 and 134
图 2 第 102、103波段前后图像变化情况
Fig 2 The Images around Band 102 and 103
互信息量在图像配准领域是公认的配准准则[11],在图像分类领域,文献[12]也曾提出过
一种结合互信息量和贪婪算法的特征提取方法,但其在波段分组方面的应用国内外鲜见报
道,因此本文提出的这一方法具有原创性。
利用互信息量分组的波段选择算法
传统的基于遗传算法的波段选择需要在整个波段空间上进行搜索,搜索空间较大。本文
-4-
将分组的概念引入到波段选择中,从每个分组中选取并且仅选取一个波段作为该分组的代
表,构成最后的波段子集,从而大大缩减了搜索空间。令高光谱遥感图像的总波段数为N ,
使用 节所描述的分组方法将其分为K组。在设计遗传算法的基因编码方式时,我们没有
采用常用的二进制编码方法。因为若采用二进制编码,在变异和交叉操作时无法保证从每个
分组中选取并且仅选取一个波段的要求。因此我们采用了整数编码机制进行基因编码,并且
通过定义合适的交叉算子和变异算子,来满足分组波段选取的要求。
除编码方式外,遗传算法的另一关键问题是适应度函数的设计。传统的基于遗传算法的
波段选择在设计适应度函数时,既需要考虑分类的准确率,也要考虑选取的波段子集的大小。
因为过多的波段会大大增加分类算法的复杂度。因此该类算法的适应度函数通常设计为[13]
( )1F P
M
αα= − + . (2)
上式中P为分类算法所输出的准确率,M 为所选取的波段子集的大小。参数α 用于控制算
法在性能和开销之间进行折衷。但(2)式所示的适应度函数需要用α 来间接地控制最后选
取出的波段数目,对α 和波段数目之间的关系无法给出定量描述。在算法设计时,α 值的
选取是一个复杂的过程,需要反复调试(Trial and Error)。
对于本文所提出的基于分组的波段选择算法,分组数K即是最后选取出的波段数。在
算法设计时,我们可以根据分类器、应用场景和所需达到的效率来选择合适的K值,而将
适应度函数取为分类准确率。这样一方面可以直接控制算法的复杂度,另一方面遗传算法的
优化目标仅是最大化准确率,可以得到性能更优的波段子集。
利用互信息分组的波段选择算法详细流程描述如下:
1. 设置波段总数 N 、分组数K、种群数 S 、变异概率 mP 、交叉概率 cP 、遗传算法
最大迭代次数 I 、支持向量机惩罚因子C和核参数γ 。
2. 据式(1)计算各相邻波段的互信息量,选取出最小的 1K − 个局部极小值点,以
此作为分界点将所有波段分为K组。
3. 遗传算法初始化:随机初始化个体集合 { }1 2, ,..., SL G G G= 。集合中个体 kG 的基
因编码为 1 2[ , ,..., ]Kg g g ,其中 ig 为从第 i组中随机抽取的波段的序号。将每个个体输入支
持向量机,得到分类准确度作为该个体的适应度。
4. 将集合 'L 初始化为空集,进行下列操作直到集合 'L 的大小达到 S:
- 以概率 cP 执行交叉操作:以概率 ip 选取个体 i,概率 jp 选取个体 j。 /i ip F F= ,
/j jp F F= ,其中 iF 和 jF 分别是个体 i和 j的适应度,F 是所有个体适应度之和。
随机选取基因位置 l,在 l处对个体 i和 j进行交叉操作。将生成的新个体放入集合
'L 中。
- 以概率1 cP− 执行复制操作:以概率 ip 和 jp 选取个体 i和 j,其中概率的定义与交
叉操作相同。将个体 i和 j直接放入集合 'L 中。
5. 对交叉生成的新个体执行变异操作:
- 对个体中的每个基因位 i,以概率 mP 对该基因位进行变异:从第 i组中随机抽取一
个波段,以其序号作为该基因位的新值。
6. 将 L和 'L 中的所有个体依次输入支持向量机,输出的分类准确度作为该个体的适
应度。以适应度从大到小对所有个体进行排序,选取前 S个个体构成新一代种群。
7. 若满足适应度精度要求或达到最大迭代次数 I ,算法结束,具有最优适应度的个体
即为最佳波段子集。否则返回步骤 4继续执行。
-5-
4.实验及结果分析
我们采用 HYDICE光谱仪所获取的Washington DC Mall地区的图像数据来评估本文所
提出的算法的性能。该图像数据的波长范围为 μm至 μm,共包含 210个连续的波
段。对该数据集作以预处理,去除了所有像素值为 0和不透明的波段后,共剩余 191个有效
波段。该图像中包含草地、屋顶、道路、水面、树木、小径、阴影七种类别的物体,文献[14]
已经标出 137个具有代表性的区域,为保证训练和测试数据集的不重叠,我们取其中序号为
奇数的区域作为训练样本,序号为偶数的区域作为测试样本,最终得到用于实验的训练集和
测试集,其中训练集样本数为 4428,测试集样本数为 3651。
该数据集中像素值的范围为-5至 13732,为便于互信息量的计算,我们将所有像素值均
匀量化到 0至 256之间的 256个区间内。并取参数 8K = ,得到了如表 1所示的分组方案。
为和 GGS算法进行比较,我们还仿真了另外两种图像分类系统。一类是不进行波段选
择,而将所有的 191个波段的数据作为支持向量机的输入(记为 Non-Sel算法)[15]。另一类
是不进行波段分组,而直接将遗传算法和支持向量机结合进行波段选择(记为 GS算法)[9, 16]。
我们对这三种算法进行了多次实验,其中 GS算法的α 参数取为 。多次实验获得的
Non-Sel算法的准确率为 %,GS算法的最小准确率为 %,最大准确率为 %,
平均准确率为 %,GGS 算法的最小准确率为 %,最大准确率为 %,平均准
确率为 %。可以看出我们所提出的算法相对于其它两种算法在分类准确率上均有明显
提升。Non-Sel 算法因为没有使用波段选择,所以会使用全部的 191 个波段,GS 算法最终
选择的波段数为 24至 28个,而 GGS算法所使用的波段数为 8个,数量大大减少。在计算
量方面,GS 算法因为未采用分组,所以搜索空间为 1912 1− ,而 GGS 算法搜索空间为
10× 左右,仅为 GS算法的 4710 分之一。而且,因为波段数目的减少,GGS算法中支
持向量机的运算时间远低于另两种算法。这两点保证了 GGS算法是一种低运算量而高效的
算法。
5.总结
本文提出了一种结合互信息分组和遗传算法的高光谱遥感图像波段选择算法,通过预先
对波段进行分组,缩减了遗传算法的搜索空间,大大提高了搜索效率,降低了运算复杂度。
而利用相邻波段的互信息量进行分组的方法具有坚实的理论基础,可以在尽可能小地损失数
据信息量的同时,剔除冗余波段,降低数据维度。这一点也保证了该算法的分类准确率。本
文从概念上阐述了该算法的思想,并通过实验结果证明了算法的性能。互信息量是图像处理
领域常用的理论工具,如何对波段间的互信息量进行更细致的分析,并设计一些更为自适应
的算法,比如自适应地选择最优的分组数目,是我们下一步将要进行的研究内容。
参考文献
[1] 姜小光, 唐伶俐, 王长耀, 等. 高光谱数据的光谱信息特点及面向对象的特征参数选择——以北京顺义
区为例[J]. 遥感技术与应用, 2002, 17(2): 59-64.
[2] 倪国强, 沈渊婷, 徐大琦. 一种基于小波 PCA 的高光谱图像特征提取新方法[J]. 北京理工大学学报,
2007, 27(7): 621-624.
[3] P. Bajcsy and P. Groves. Methodology for Hyperspectral Band Selection[J]. Photogrammetric Engineering
and Remote Sensing, 2004, 70: 793-802.
[4] 赵春晖, 刘春红. 超谱遥感图像降维方法研究现状与分析[J]. 中国空间科学技术, 2004, 24(5): 28-36.
[5] 刘建平, 赵英时, 孙淑玲. 高光谱遥感数据最佳波段选择方法试验研究[J]. 遥感技术与应用, 2001,
-6-
16(1): 7-13.
[6] Xiaokun Zhu, Yonghong Jia. Solution to Joint Entropy and Its Applications in Remote Sensing[EB/OL].
2004.
[7] R. Kohavi and G. H. John. Wrappers for Feature Subset Selection[J]. Artificial Intelligence, 1997, 97(1):
273-324.
[8] 谷延锋, 张晔. 基于自动子空间划分的高光谱数据特征提取[J]. 遥感技术与应用, 2003, 18(6): 32-35.
[9] 卓莉, 郑璟, 王芳, 等. 基于 Ga-Svm 封装算法的高光谱数据特征选择[J]. 地理研究, 2008, 27(3):
493-501.
[10] B. Guo, S. R. Gunn, R. I. Damper, et al. Band Selection for Hyperspectral Image Classification using Mutual
Information[J]. IEEE Geoscience and Remote Sensing Letters, 2006, 3(4): 522-526.
[11] 吕庆文, 陈武凡. 基于互信息熵差测度的医学图像自动优化分割[J]. 中国科学 E 辑, 2006, 36(6):
657-667.
[12] Baofeng Guo, . Damper, Steve R. Gunn, et al. A Fast Separability-based Feature-selection Method for
High-dimensional Remotely Sensed Image Classification[J]. Pattern Recognition, 2008, 41(5): 1653-1662.
[13] 王小平, 曹立明. 遗传算法——理论、应用与软件实现[M]. 西安:西安交通大学出版社, 2002.
[14] D. A. Landgrebe. Signal Theory Methods in Multispectral Remote Sensing[M]. Hoboken, NJ: Wiley, 2003.
[15] 谭琨, 杜培军. 基于支持向量机的高光谱遥感图像分类[J]. 红外与毫米波学报, 2008, 27(2): 123-128.
[16] Zexuan Zhu, Yew-Soon Ong and Manoranjan Dash. Wrapper-filter Feature Selection Algorithm using a
Memetic Framework[J]. IEEE Transactions on Systems, Man and Cybernetic-Part B: Cybernetics, 2007,
37(1): 70-76.
A Novel Band Selection Algorithm for Hyperspectral Image
Classification Using Mutual Information-based Grouping
Lin Lin
1 College of Computer and Information Engineering, Hohai University, Nanjing, PRC, (210098)
Abstract
To select a minimal and effective subset from a mass of bands is the key issue of the study on
hyperspectral image classification. This paper puts forwards a novel band selection algorithm, which
combines the mutual-information-based grouping method and genetic algorithm. The proposed
algorithm reduces the computation cost significantly, as well as keeps a better precision. Experimental
results on the Washington DC Mall data set validate the effectiveness and efficiency of the proposed
algorithm.
Keywords: Hyperspectral Remote Sensing, Image Classification, Mutual Information, Genetic
Algorithm
作者简介:林林(1983-),女(汉),北京,工作单位:河海大学计算机及信息工程学院,
硕士研究生, 主要研究方向:信号处理与遥感图像分析。Email:cily_ll@。
Text1: