- 1 -
中国科技论文在线
基于显著性检测的花卉图像分割#
谢晓东，吕艳萍，曹冬林**
基金项目：国家自然科学基金（61402386，61305061）；高等学校博士学科点专项科研基金（20110121120024）；
福建省自然科学基金（2014J01249）；深圳市基础研究项目基金（JCYJ20120614164600201）
作者简介：谢晓东（1987-），男，硕士研究生，主要研究方向为多媒体信息检索
通信联系人：曹冬林（1977-），男，助理教授，主要研究方向为多媒体信息检索
（厦门大学智能科学与技术系，厦门 361005）
5 摘要：针对花卉图像复杂的背景问题，本文提出基于显著性检测的花卉图像前景分割方法。
该方法通过为花卉图像的显著性区域训练前景背景分类器，自适应设定初始前景背景的信息
分布，并结合 GrabCut算法实现将花卉的主体部分从背景中分离开。相对于经典的花卉图像
分割方法。本文提出的方法，不需要对每一类花进行单独的训练，是一种自适应的花卉图像
分割方法。 10
关键词：花卉图像分割；显著性检测；精细图像
中图分类号：TP39
Saliency Detection based Flower Image Foreground
Segmentation 15
XIE Xiaodong, LV Yanping, CAO Donglin
(Cognitive Science Department, Xiamen University, Xiamen, 361005)
Abstract: In terms of the complicated background of flower images, we proposed a sailency
detection based flower image forground segmenttation method. To be specific, we train a
foreground and background classifier for flower saliency region, set initial foreground and 20
background segmentation threshold adaptively, and then segment the main part of a flower in the
image from the background based on the GrabCut method. Different from the classical flower
classification method, this method is an adaptive flower classification method and don`t need a
separate training for each kind of flower.
Key words: Flower Image Segmentation; Saliency Detection; Fine-grained Image 25
0 引言
日常拍摄的花卉图像都包含了复杂的背景。即使是同一类花卉，它们所处的环境也不尽
然相同。这些复杂的背景对花卉图像的自动分类并不能提供多大的帮助，甚至还会造成干扰。
因此，为了能够高效地进行花卉图像分类，首先要将花卉的主体区域从杂乱的背景中分割出30
来，然后在分割结果的基础上对花卉区域进行特征提取。
目前关于花卉图像分割的研究主要有 Nilsback[1]提出的基于花卉几何形状的分割算法的
和 Yuning Chai[2]提出的基于同类花卉形状协同分布的分割算法。Nilsback 和 Yuning Chai 的
方法在进行分割之前需要统计每一类别花卉图像的前景和背景的颜色分布信息以及相应的
花瓣的形状信息，然后为每一个类别的花卉图像训练相应的前景背景分类器用于分割。这些35
信息的获取是通过对数据库中每一类别的样本进行前景和背景的标注得到的，对数据进行标
注是需要耗费大量的时间，并且在新增加一类花卉图像时需要对新的样本进行标注。GrabCut
是另一种有效的图像分割方法，但是由于其在使用时需要标定前景和背景区域，使得其应用
有了一定的局限性。
针对花卉图像在分割的过程中需要进行数据标注以及对每一个种类的花卉需要单独训40
- 2 -
中国科技论文在线
练前景背景分类器的问题，本文提出了一种基于显著性检测的花卉图像分割方法。本方法通
过图像的显著性检测，统计花卉图像的前景和背景信息，训练一个前景背景分类模型。该模
型不需要对每类花进行训练，是一种自适应的花卉图像分割方法。
1 花卉图像分类及分割算法国内外研究现状
目前，国内外针对花卉分类进行了大量研究，按照其方法可以分为带分割的花卉图像分45
类和不带分割的花卉图像分类两种。
带分割的花卉图像分类希望通过分割去除不相关的背景信息，提高分类准确率。其中，
Nllsback 等人[1]提出基于花卉几何形状的分割算法，并提取 Lab 颜色、SIFT、纹理等特征，
从而构建相应的 BoW 模型，最后利用 KNN 算法计算最相近的花卉类别，对于多特征的 KNN
的结果通过线性加权的方法对每一个特征进行加权，最后得到最终的KNN花卉种类。Yuning 50
Chai
[2,3]提出基于同类花卉形状协同分布的分割算法，并通过提取密集的 SIFT 特征、兴趣点
SIFT 特征、分割出花卉边界的 SIFT 以及整幅片的 Lab 特征。然后将这些不同的特征构建相
应的码本，计算相应的 BoW 特征向量。最后这些特征的 BoW 向量进行串联，通过核函数
SVM 进行分类。柯逍等人[4]提出基于多特征融合的花卉图像检索方法。首先，利用 2RGB
混合颜色模型的自适应阈值分割算法来对花卉图像进行分割；然后，提出基于 HSV 颜色模55
型的加权不变矩的形状特征，并结合形状特征与纹理特征的边缘 LBP 算子；最后，采用基
于 SVM 的多特征融合进行花卉图像的检索。
不带分割的花卉图像分类则对花卉图像统一建模，通过寻找具有区分度的特征进行花卉
图像分类。其中，Khan 等人[5,6]提出了一种利用颜色特征加权形状特征的多特征的融合花卉
分类方法。具体的方法是对每一个种类的花卉图片上相同的特征点位置同时提取颜色和形状60
特征，构建相应的颜色和形状码本。然后在码本的基础上统计颜色特征在每一种花卉上的概
率分布。这个概率主要用于对相应的形状特征进行不同种类之间的加权。Fernando[7]等人通
过提取 HUE 颜色和 SIFT 特征，并构建相应的码本。然后采用逻辑回归算法计算每种花卉
在不同的码本上最有判别力的码本权重值。在分类未知图片的时候，把各种花卉之间的权重
加权，计算各类别的 BoW 向量，然后串联起来并通过 SVM 分类器进行分类。周伟等人[8]65
提出一种基于显著图的花卉图像分类算法研究。该算法通过将显著图融入到图像特征的提取
过程中，从而避免对图像进行分割。随后将提取的颜色特征和 SIFT 特征融合，并采用 SVM
进行花卉图像的分类。
2 基于显著性检测的花卉图像分割
本文方法的主要思想（图 1）：首先，通过计算图像的显著性检测，统计花卉图像的背70
景和前景信息，训练花卉图像前景背景分类模型，得到预分割的前景/背景区域；其次，通
过 K-Means 聚类的方法将图像前景和背景集合分别聚为 NF 类和 NB 类，计算均值和协方差
作为混合高斯的参数；然后，通过最大图-最小割的思想，计算图像 Gibbs 能量函数，得到
当前混合高斯参数最优的图像分割；最后，迭代前面的几个步骤，直到整个能量函数收敛到
最小。 75
- 3 -
中国科技论文在线
图 1 基于显著性检测的图像分割流程图
Framework of saliency detection based image segmentation
本文有一个最基本假设是：花卉的颜色主要是红色、黄色、蓝色等比较鲜艳的颜色，而80
背景主要是深绿色、黑色等比较暗的颜色，因此花卉在图像中具有很强的对比度使得花朵在
图像中是十分显著的。具体的，本文的方法的步骤如下：
输入：待分割图片 I 1 2, , , )Nx x x（ ，N 为像素点的个数。
输出：分割图片 S
算法步骤： 85
Setp 1：计算图像 I 的超像素区域
' ' ' '
1 2( , , , )SPx x xI ，SP 为超像素的个数。（本文使用
Achanta等人[9]提出的简单线性迭代聚类超像素（SLIC，Simple Linear Iterative Clustering）
对图像进行超像素区域划分。）
Step 2：假设图像的边界区域是非显著的，即为背景区域。构建超像素节点的连通权重
图，利用公式
*
( )=1 f ( )i iS x x 计算图像的显著性（本文采用的是 Chuan Yang
[10]在 2013 年90
提出的基于图的流形排序显著性计算思想）。其中，
*
f ( )ix 表示像素点 i 同背景的相关度，
*
1 f ( )ix 表示像素点 i 同前景的相关度。然后通过比较每个像素点与整张图像显著性的均值
I 的大小，将图像二值化为预分割的前景/背景分割图。
Step 3：针对图像的显著性区域，训练花卉图像前景背景分类的通用模型。取部分花卉
图像为训练样本，令这些图像显著区域上的超像素为正样例，非显著区域上的超像素为负样95
例，统计超像素上 RGB 颜色的 R 分量、G 分量、B 分量的均值以及方差，训练花卉图像的
前景背景 SVM 分类器。
Setp 4：利用 K-Means 算法将前景集合 F 聚类为 NF 类，背景集合 B 聚类为 NB 类，并
计算每个类别的均值和协方差作为混合高斯的参数。
Setp 5：利用最大图最小割思想，计算 ( , , , ) ( , , , ) ( , )E k x U k x V x 的 Gibbs100
能量函数，得到当前混合高斯参数最优的图像分割。其中，U 部分表示数据项，V 部分表示
边界项。
Setp 6：循环 Setp 4 和 Setp 5 的步骤，直到使得 Gibbs 能量函授收敛到最小值，输出分
割的最终分割的图像 S。
花卉图像前景背景分类模型 105
首先，通过图像显著性计算方法，得到整幅图像 I 的显著性的概率值，采用公式(1)计算
- 4 -
中国科技论文在线
整幅图像显著性的均值 I 。
( )
N
i
i
I
p x
N
(1)
其中，N 为图像中像素的个数， ( )ip x 为像素点的概率值。对于小于均值 I 的像素点标
记为背景点，大于等于均值 I 的像素点标记为前景点，初始化为图像的前景和背景分布信110
息 1( , , , , )i N 。这里， 1i ，表示前景点， 0i ，表示背景点。
一般花卉的背景区域都是叶子、杂草以及泥土等信息。针对图像的显著性区域（花朵部
分），本文利用花卉图像的背景信息作为指导，训练一个花卉图像前景背景分类通用模型。
取部分花卉图像为训练样本，令这些图像显著区域上的超像素为正样例，非显著区域上为负
样例，统计所有超像素 RGB 颜色的 R 分量、G 分量、B 分量的均值 R 、 G 、 B 以及方差115
R 、 G 、 B ，训练花卉图像的前景背景分类器，进一步优化图像的前景背景分布信息，如
图 2。
图 2 前景背景分类器优化后的图像预分割图
Image segmentation result after classification optimization 120
GrabCut 花卉图像分割
通过上一节得到的前景背景预分割图后，利用混合高斯模型（GMM）计算相应背景和
前景的高斯参数。在计算的过程中，如果直接利用混合高斯聚类算法计算 GMM 参数，复杂
度太高。所以，根据设定的前景成分个数（这里 NF=3）和背景成分个数（NB=6），通过125
K-Means 算法聚类出各自对应的混合高斯类别，并在相应类别中计算高斯的协方差矩阵。
然后，按照 GrabCut 图像分割方法构造 Gibbs 能量函数式（2），
( , , , ) ( , , , ) ( , )E k x U k x V x （2）
其中， x为图像的像素点， 为前景/背景标签， k为混合高斯模型的个数。 为高斯
混合模型的参数，U 分量为数据项，V 分量为边界项。 130
令
2
( , )
( , ) [ ]exp || ||m n m n
m n C
V x x x
（3）
在 RGB 空间中，采用欧式距离（二范数）衡量两像素 mx 和 nx 的相似性。参数 由图
- 5 -
中国科技论文在线
像的对比度决定，如果对比度越低， 越大；反之， 越小。
令 135
( , , , ) = ( , , , )n n n
n
U k x D k x （4）
1
( , , , ) log ( , ) log ( | , , )
1
log ( , ) log det ( , )
2
1
[ ( , )] ( , ) [ ( , )]
2
n n n n n n n n
n n n n
T
n n n n n n n n
D k x k p x k
k x
x k k x k
从中抽取高斯混合模型的参数 为
( , ), ( , ), ( , ), 1, ,k k k k K （5）
这里， ( ) 为高斯模型的权值， ( ) 为期望， ( , )k 为 3×3 的协方差矩阵；通过迭代更140
新以上参数，每个像素属于前景的 GMM 还是背景 GMM 就发生变化，每次的迭代会交互地
优化 GMM 模型和分割结果。直到能量收敛到最小值，或者是迭代到预先设定的迭代次数，
输出分割图像 S。
3 实验结果与分析
实验设计 145
本文采用牛津大学VGG实验室提供的Oxford -17 flower数据库对本文的方法进行评价。
该数据库包含共 17 类花，每类 80 张图片，总共 1360 张图片。数据库的构建者对其中的 849
张图片进行了相应的标注工作，给出了相应的前景图，如图 3 所示：
（a）原图 （b） 前景标注图 150
图 3 数据库标注图片
Fig. 3 Samples of annotated images in database
图像分割评价标准
本文计算分割的准确率的方法是：给定一张图片的二进制的前景分割掩码图片 A（前景155
=1，背景=0），以及人工标注的真实分割 A’ 的前景分割掩码图片。分割准确率 P 定义为 A
和 A’ 的交集与 A 和 A’ 并集的比例，具体的使用公式(6)计算：
mean
A
P
A A
A
(6)
实验结果分析
通过图像的显著性计算，可以为后续的 GrabCut 算法提供初始化的前景和背景像素点，160
- 6 -
中国科技论文在线
用于估计相应的前景和背景混合高斯模型的参数。直接将显著图进行均值阈值化已经可以提
供一个二进制的前景与背景分割，那为什么还需要引入 GrabCut 算法？这是因为显著性检测
到的前景和背景的值是相对固定的，而 GrabCut 算法通过迭代会交互地优化前景背景的高斯
混合模型和分割结果。通过表 1 和表 2 可以发现引入 GrabCut 算法对分割效果的提升。在实
验中，因为花卉的颜色一般都比较一致，选择的前景高斯个数为 3。而背景区域由于颜色相165
对比较丰富，选择的高斯个数为 6。
表 1 直接显著性分割和显著性+GrabCut 分割的准确率对比
Comparison between saliency detection based method and combination of saliency detection and GrabCut
based method
方法 准确率（%）
显著性 1
显著性 2
显著性 1+GrabCut
显著性 2+GrabCut
170
表 2 显著性 1 分割和显著性 1+GrabCut 分割的效果对比
Showcases comparison between saliency detection 1 based method and combination of saliency detection 1
and GrabCut based method
名称 原图 显著性 1 分割 显著性 1+GrabCut 分割
D
af
fo
d
il
W
il
d
T
u
li
p
W
il
d
T
u
li
p
P
an
sy
注：显著性 1表示计算图像显著性后，将图像均值阈值化为二进制的分割图；显著性 2表示在显著性
1的基础上，进一步使用训练的花卉图像前景背景分类模型校正图像的显著性分布。 175
显著性检测的图像分割方法，当前景的信息不那么显著的时候，对分割的效果影响很大
- 7 -
中国科技论文在线
（如表 2中的 Wild Tulip）。而引入 GrabCut 算法后，通过迭代会交互地优化前景背景的高
斯混合模型，能够对一些错分的前景/背景点进行有效地较正。
目前有大量的工作是关于图像分割的算法，本文挑选了其中比较有代表性的方法进行比180
较，主要的方法有：（1）整个数据集前景区域占整张图片的评价比例；（2）Joulin[11]在 2010
年在 CVPR 上发表了一篇关于协同分割的算法；（3）图片中心 50%面积作为前景区域初始
化的 GrabCut 算法；（4）Nilsback[1]提出的利用花卉形状信息的分割算法；（5）Chai[2]提出
的基于同类花卉形状协同分布的 BiCoS 的分割算法，具体的准确率表 3 所示。从表 3 可以
看到，我们提出的方法在所有 6 种方法中排名第二，具有较高的准确率。我们的方法虽然在185
准确率上比 Yuning Chai[2]的方法有略微的下降，但该方法不需要对每一类花进行单独的训
练，是一种自适应的花卉图像分割方法。
表 3 不同的分割方法的准确率比较
Performance comparison for different image segmentation method 190
方法 准确率（%）
所有前景比例
Joulin CVPR 2010[11]
GrabCut
Nilsback[1]
Chai [2]
本文
4 结论
花卉图像分割对于提高花卉图像分类效果具有重要的研究意义。本文针对花卉图像复杂
的背景问题，提出了基于显著性检测的花卉图像前景分割方法。该方法通过计算图像的显著
性指导花卉图像的前景背景学习，从而自适应地设定初始前景和背景信息的分布，因此，该195
方法不需要对每一类花进行单独的训练，是一种自适应的花卉图像分割方法。实验结果表明，
我们提出的方法具有较高的分割准确率。
[参考文献] (References)
[1] Nilsback M-E, Zisserman A. An Automatic Visual Flora: Segmentation and Classification of Flower 200
Images[D]. City: Oxford University, 2009.
[2] Chai Y, Lempitsky V, Zisserman A. Bicos: A bi-level co-segmentation method for image classification
[A].Chai Y. IEEE International Conference on Computer Vision[C]. New York:IEEE, 2011. 2579-2586.
[3] Yuning Chai, Esa Rahu, Victor Lempitsky, Luc Van Gool and Andrew Zisserman. TriCoS: A Tri-level
Class-Discriminative Co-Segmentation Method for Image Classification[A].Yuning Chai. European Conference 205
on Computer Vision[C].New York:IEEE, 2012. 794-807.
[4] 柯逍, 陈小芬, 李绍滋. 基于多特征融合的花卉图像检索[J]. 计算机科学, 2010, 37(011): 282-286.
[5] Khan F S, Van De Weijer J, Vanrell M. Modulating shape features by color attention for object recognition[J].
International Journal of Computer Vision, 2012, 98(1): 49-64.
[6] Shahbaz Khan F, Van De Weijer J, Vanrell M. Top-down color attention for object recognition [A]. Shahbaz 210
Khan. IEEE 12th International Conference on Computer Vision[C]. New York:IEEE, 2009. 979-986.
[7] Fernando B, Fromont E, Muselet D, et al. Discriminative feature fusion for image classification[A].Fernando B.
Computer Vision and Pattern Recognition (CVPR)[C]. New York:IEEE, 2012. 3434-3441.
[8] 周伟, 武港山. 基于显著图的花卉图像分类算法研究[J]. 计算机技术与发展, 2011, 21(11): 15-18.
[9] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE 215
Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.
[10] Yang C, Zhang L, Lu H, et al. Saliency detection via graph-based manifold ranking[A].Yang C. Computer
Vision and Pattern Recognition (CVPR)[C]. New York:IEEE, 2013. 3166-3173.
[11] Joulin A, Bach F, Ponce J. Discriminative clustering for image co-segmentation[A].Joulin A. Computer
Vision and Pattern Recognition (CVPR)[C]. New York:IEEE, 2010. 1943-1950. 220
